[論文レビュー] Spectrum of inner-product kernel matrices in the polynomial regime and multiple descent phenomenon in kernel ridge regression

Theodor Misiakiewicz|arXiv (Cornell University)|Apr 21, 2022

Random Matrices and Applications被引用数 9

ひとこと要約

本稿は、球面および超立方体分布データにおける多項式高次元的状態（$n \asymp d^\ell$）において、内積カーネル行列のスペクトル分解を確立し、Gegenbauer行列成分がMarchenko-Pastur分布に収束することを示している。カーネルリッジ回帰（KRR）のテスト誤差の明確な漸近的評価を導出し、有効な正則化と信号対雑音比の両方が整数 $\kappa$ 値における二重降下を引き起こすことで、KRRリスク曲線における複数の降下現象を説明している。

ABSTRACT

We study the spectrum of inner-product kernel matrices, i.e., $n imes n$ matrices with entries $h (\langle extbf{x}_i , extbf{x}_j angle/d)$ where the $( extbf{x}_i)_{i \leq n}$ are i.i.d.~random covariates in $\mathbb{R}^d$. In the linear high-dimensional regime $n \asymp d$, it was shown that these matrices are well approximated by their linearization, which simplifies into the sum of a rescaled Wishart matrix and identity matrix. In this paper, we generalize this decomposition to the polynomial high-dimensional regime $n \asymp d^\ell,\ell \in \mathbb{N}$, for data uniformly distributed on the sphere and hypercube. In this regime, the kernel matrix is well approximated by its degree-$\ell$ polynomial approximation and can be decomposed into a low-rank spike matrix, identity and a `Gegenbauer matrix' with entries $Q_\ell (\langle extbf{x}_i , extbf{x}_j angle)$, where $Q_\ell$ is the degree-$\ell$ Gegenbauer polynomial. We show that the spectrum of the Gegenbauer matrix converges in distribution to a Marchenko-Pastur law. This problem is motivated by the study of the prediction error of kernel ridge regression (KRR) in the polynomial regime $n \asymp d^κ, κ>0$. Previous work showed that for $κ ot\in \mathbb{N}$, KRR fits exactly a degree-$\lfloor κ floor$ polynomial approximation to the target function. In this paper, we use our characterization of the kernel matrix to complete this picture and compute the precise asymptotics of the test error in the limit $n/d^κ o ψ$ with $κ\in \mathbb{N}$. In this case, the test error can present a double descent behavior, depending on the effective regularization and signal-to-noise ratio at level $κ$. Because this double descent can occur each time $κ$ crosses an integer, this explains the multiple descent phenomenon in the KRR risk curve observed in several previous works.

研究の動機と目的

• 球面および超立方体データにおける多項式的高次元的状態（$n \asymp d^\ell$）における内積カーネル行列のスペクトルを特徴づけること。
• $n \asymp d$ の線形カーネル行列近似を、より高次の多項式的状態へと拡張すること。
• 整数 $\kappa$ に対して $n/d^\kappa \to \psi$ となるときのカーネルリッジ回帰（KRR）のテスト誤差に対する明確な漸近的表現を導出すること。
• 整数 $\kappa$ 値における有効正則化と信号対雑音比の相互作用を通じて、KRRリスク曲線における複数の降下現象を説明すること。

提案手法

• カーネル行列を、低ランクスパイク、単位行列、および $Q_\ell(\langle \mathbf{x}_i, \mathbf{x}_j \rangle)$ を成分とするGegenbauer行列にスペクトル分解する。ここで $Q_\ell$ は次数 $\ell$ のGegenbauer多項式である。
• 多項式的状態下で、Gegenbauer行列の極限スペクトル分布がMarchenko-Pastur分布に収束することを確立する。
• 球面上および超立方体上における直交多項式展開を用い、スペクトル分解に球面調和関数および超立方体Gegenbauer多項式を活用する。
• 球面および超立方体上における高次多項式の $L^q$ ノルムに対する超合同性不等式を用いて、誤差項を制御する。
• 解析の簡略化と漸近的誤差式の導出のため、ガウス型共変数モデルとの同等性を用いる。
• ランダム行列理論のツールを用いて、カーネル行列成分の作用素ノルムおよび固有値分布を分析する。

実験結果

リサーチクエスチョン

• RQ1 球面および超立方体データにおける多項式的高次元的状態（$n \asymp d^\ell$）において、内積カーネル行列のスペクトルはどのように振る舞うか？
• RQ2 カーネル行列分解におけるGegenbauer行列成分の極限スペクトル分布は何か？
• RQ3 整数 $\kappa$ に対して $n/d^\kappa \to \psi$ となるとき、カーネルリッジ回帰のテスト誤差はどのように漸近的にスケーリングするか？
• RQ4 KRRリスク曲線が複数の降下を示すのはなぜか？これは多項式的状態および正則化とどのように関係しているか？
• RQ5 整数 $\kappa$ 値における有効正則化と信号対雑音比の観点から、KRRにおける二重降下現象を正確に特徴づけられるか？

主な発見

• 多項式的状態（$n \asymp d^\ell$）におけるカーネル行列は、その次数 $\ell$ の多項式近似によりよく近似可能であり、低ランクスパイク、単位行列、および $Q_\ell(\langle \mathbf{x}_i, \mathbf{x}_j \rangle)$ を成分とするGegenbauer行列に分解される。
• 球面および超立方体データにおいて、$n,d \to \infty$ かつ $n \asymp d^\ell$ の下で、Gegenbauer行列のスペクトルは分布収束によりMarchenko-Pastur分布に収束する。
• 整数 $\kappa$ に対して、カーネルリッジ回帰のテスト誤差は、レベル $\kappa$ における有効正則化と信号対雑音比に依存して二重降下を示す。
• KRRリスク曲線における複数の降下現象は、多項式的状態の遷移が各整数 $\kappa$ で発生する二重降下に起因する。
• $n/d^\kappa \to \psi$ の極限において、KRRの漸近的テスト誤差式が明確に導出され、多項式的状態におけるリスクの完全な特徴づけが可能になった。
• 本分析により、球面／超立方体モデルにおけるKRRリスクと、それに対応するガウス型共変数モデルとの間の同等性が確立され、誤差の漸近的性質の簡略化が可能になった。