[論文レビュー] Sharp Asymptotics of Kernel Ridge Regression Beyond the Linear Regime

Hong Hu, Yue M. Lu|arXiv (Cornell University)|May 13, 2022

Neural Networks and Applications被引用数 6

ひとこと要約

本稿は、サンプルサイズ $ n $ が整数 $ k \geq 1 $ に対して $ n \asymp d^k $ とスケーリングする高次元設定におけるカーネルリッジ回帰（KRR）の鋭い漸近的解析を提供し、多項式学習領域におけるバイアス・バリアンストレードオフによって、KRRが非単調な「ダブルデセント」一般化曲線を示すことを明らかにする。著者らはガウス的等価性予想を厳密に確立し、臨界スケーリング閾値におけるテスト誤差の遷移を正確に特徴づけることを可能にする。

ABSTRACT

The generalization performance of kernel ridge regression (KRR) exhibits a multi-phased pattern that crucially depends on the scaling relationship between the sample size $n$ and the underlying dimension $d$. This phenomenon is due to the fact that KRR sequentially learns functions of increasing complexity as the sample size increases; when $d^{k-1}\ll n\ll d^{k}$, only polynomials with degree less than $k$ are learned. In this paper, we present sharp asymptotic characterization of the performance of KRR at the critical transition regions with $n \asymp d^k$, for $k\in\mathbb{Z}^{+}$. Our asymptotic characterization provides a precise picture of the whole learning process and clarifies the impact of various parameters (including the choice of the kernel function) on the generalization performance. In particular, we show that the learning curves of KRR can have a delicate "double descent" behavior due to specific bias-variance trade-offs at different polynomial scaling regimes.

研究の動機と目的

• サンプルサイズ $ n \asymp d^k $ の高次元的状況におけるカーネルリッジ回帰（KRR）の一般化性能を理解すること。特に、臨界遷移点における挙動を対象とする。
• 高次元的状況において、$ d^{k-1} \ll n \ll d^k $ のときには $ k $ 未満の次数の多項式しか学習されないという、KRRの多段階的学習挙動を解明すること。
• 臨界領域 $ n \asymp d^k $ におけるテスト誤差およびトレーニング誤差の鋭い漸近的特徴づけを提供し、カーネル選択および正則化の役割を明確にすること。
• 高次元極限におけるKRRの統計物理学的非厳密解析に基づくガウス的等価性予想を、厳密に検証すること。

提案手法

• カーネルおよびターゲット関数を多項式次数が増加する直交成分に分解するため、球面調和関数および超球多項式展開を用いる。
• カーネル行列 $ \boldsymbol{K} $ および入力設計行列 $ \boldsymbol{X} $ のスペクトル的性質を高次元的極限で分析することにより、トレーニング誤差およびテスト誤差の漸近的表現を導出する。
• 主な技術的貢献として、ランダムなカーネル行列を漸近的解析に適したガウス的プロキシに置き換えることの正当化を、厳密に証明したガウス的等価性予想の証明が挙げられる。
• カーネルおよびターゲット関数を次数 $ k $ の成分にブロックごとに分解し、各部分空間におけるサンプリング比 $ \delta_k = n / N_k $ の漸近的性質を分析する。
• 入力ベクトルがi.i.d.かつ等方的であると仮定し、低次の多項式から構成される教師モデルを想定することで、バイアスおよびバリアンス成分の正確な計算が可能になる。
• 誤差項の制御および高次元的漸近的条件下での確率的収束の確立のため、作用素ノルムおよびフロベニウスノルムのバウンドを用いる。

実験結果

リサーチクエスチョン

• RQ1 サンプルサイズ $ n \asymp d^k $ の臨界遷移点において、KRRの一般化誤差はどのように振る舞うのか。定常的領域 $ d^{k-1} \ll n \ll d^k $ とは異なった挙動を示すのか。
• RQ2 KRRの学習曲線に見られる非単調的でダブルデセントに類似した挙動は、どのような要因によって引き起こされ、多項式スケーリング領域におけるバイアス・バリアンストレードオフによってどのように支配されるのか。
• RQ3 高次元的状況におけるKRRの性能は、どの程度ガウス的等価モデルで正確に捉えることができるのか。この予想は、厳密に証明可能か。
• RQ4 カーネル関数の選択および正則化パラメータ $ \lambda $ は、$ n \asymp d^k $ の遷移点におけるテスト誤差の鋭い漸近的性質にどのように影響を与えるのか。

主な発見

• KRRのテスト誤差は、$ n \asymp d^k $ において繊細なダブルデセントを示し、多項式次数に応じたバイアス・バリアンストレードオフの変化に起因して、初期に増加し、その後に減少する。
• 臨界領域 $ n \asymp d^k $ における漸近的テスト誤差は、カーネルのスペクトル的性質とターゲット関数の次数 $ k $ の球面調和部分空間への射影との相互作用によって正確に特徴づけられる。
• ガウス的等価性予想が厳密に証明され、KRRの高次元的挙動が正確にガウス的プロキシモデルで捉えられることを示し、従来の非厳密な統計物理学的手法の正当性が裏付けられる。
• 学習プロセスは階層的である：KRRは多項式の次数が増加する順に関数を学習し、$ d^{k-1} \ll n \ll d^k $ のときには、$ k $ 未満の次数の多項式しか学習されない。
• テスト誤差の鋭い漸近的公式は、カーネルの次数 $ k $ のスペクトル係数およびサンプリング比 $ \delta_k = n / N_k $ に明示的に依存しており、$ N_k \sim d^k $ である。
• 結果から、カーネル関数の構造、特に球面調和関数における展開が、一般化誤差におけるダブルデセント曲線の形状および位置を決定することが明確にわかった。