[論文レビュー] Kernel regression in high dimensions: Refined analysis beyond double descent

Fanghui Liu, Zhenyu Liao+1 more|arXiv (Cornell University)|Oct 6, 2020

Gaussian Processes and Bayesian Inference参考文献 37被引用数 14

ひとこと要約

本稿は、一般化リスクをバイアスとバリアンスの成分に分解することで、高次元におけるカーネルリッジ回帰の洗練された分析を提供し、リスク曲線がデータ固有値プロファイルと正則化に応じて二重降下、ベル型、または単調な挙動を示す可能性があることを示している。バイアスは次元にほとんど依存せず、標本サイズの増加に伴い減少するが、バリアンスは $ n $、$ d $、正則化の相乗的相互作用に強く依存しており、二重降下理論を越えたフレームワークを提供している。

ABSTRACT

In this paper, we provide a precise characterization of generalization properties of high dimensional kernel ridge regression across the under- and over-parameterized regimes, depending on whether the number of training data n exceeds the feature dimension d. By establishing a bias-variance decomposition of the expected excess risk, we show that, while the bias is (almost) independent of d and monotonically decreases with n, the variance depends on n, d and can be unimodal or monotonically decreasing under different regularization schemes. Our refined analysis goes beyond the double descent theory by showing that, depending on the data eigen-profile and the level of regularization, the kernel regression risk curve can be a double-descent-like, bell-shaped, or monotonic function of n. Experiments on synthetic and real data are conducted to support our theoretical findings.

研究の動機と目的

• 高次元におけるカーネルリッジ回帰の一般化特性を、過小パラメータ化と過大パラメータ化の両領域で理解すること。
• 期待超過リスクをバイアスとバリアンスの成分に分解し、それらが $ n $、$ d $、正則化にどのように依存するかを分析すること。
• データ構造と正則化に基づいて、二重降下、ベル型、単調なリスク曲線形状を特徴づけることで、二重降下パラダイムを越えること。
• カーネル行列の線形化を用いて、カーネル手法における暗黙的および明示的正則化を体系的に分析するフレームワークを提供すること。

提案手法

• カーネルリッジ回帰における期待超過リスクのバイアス・バリアンス分解を導出する。
• 高次元におけるカーネル行列の線形化を用いて、暗黙的正則化を明示的にモデル化する。
• $ n $、$ d $、正則化パラメータ $ \lambda $ に関するバリアンスの挙動を分析し、単峰性または単調な傾向を示すことを示す。
• データ共分散の固有値減衰プロファイル（調和的、多項式的、指数的）に応じたリスク曲線の特徴づけを可能にする理論的フレームワークを導入する。
• 合成データおよび実データ（例：MNIST、YearPredictionMSD）を用いた実験的検証を行い、カーネル固有値とその線形化近似との比較を行う。
• バイアスとバリアンスの収束速度を導出し、多項式的減衰下で $ \mathcal{O}(n^{-2\vartheta r}) $ の挙動を示し、$ \lambda $ が小さい指数的減衰下ではバリアンスが単調に減少することを示す。

実験結果

リサーチクエスチョン

• RQ1 高次元設定下で、標本サイズ $ n $ の関数としてカーネルリッジ回帰の一般化リスクはどのように振る舞うか？
• RQ2 データ固有値構造と正則化に応じて、二重降下以外の形状（例：ベル型、単調）を示すリスク曲線が存在するか？
• RQ3 明示的および暗黙的正則化は、カーネル推定器のバリアンスとバイアス成分をどのように形作るか？
• RQ4 異なる固有値減衰プロファイル（例：多項式的、指数的）は、バリアンスと全体のリスク挙動にどのように影響するか？
• RQ5 高次元における非線形カーネルの固有値構造を、カーネル行列の線形化がどれほど正確に反映しているか？

主な発見

• カーネルリッジ回帰におけるバイアスは、特徴次元 $ d $ にほとんど依存せず、$ n $ の増加に伴い単調に減少する。
• バリアンスは多様な挙動を示す：データ固有値の減衰と正則化のレベルに応じて、単峰性（ベル型リスク曲線）または単調に減少する。
• 多項式的減衰で $ \vartheta < 1/(1 + 1/(2a)) $ の場合、バリアンスは単峰性を示し、ベル型リスク曲線をもたらす。
• 指数的減衰と小さな正則化の下では、バリアンスは $ n $ の増加に伴い単調に減少し、単調なリスク曲線が得られる。
• 理論的分析により、多項式的減衰下で $ \text{bias} = \mathcal{O}(n^{-2\vartheta r}) $ が成立し、$ r=1 $ の場合、実験的収束速度と一致することが確認された。
• MNISTおよび合成データにおける実験結果により、非線形カーネル行列の固有値減衰が、その線形化近似 $ \widetilde{\bm{X}} $ と密接に一致することが確認され、線形化フレームワークの妥当性が裏付けられた。