[論文レビュー] Generalization Error Rates in Kernel Regression: The Crossover from the Noiseless to Noisy Regime

Hugo Cui, Bruno Loureiro+2 more|arXiv (Cornell University)|May 31, 2021

Sparse and Compressive Sensing Techniques参考文献 59被引用数 13

ひとこと要約

本稿は、ガウス型設計のもとで、ノイズなしとノイズありの両状態において、カーネルリッジ回帰における一般化誤差の分析を統一し、標本量の増加に伴い過剰誤差の減少率に連続的なクロスオーバーが生じることを明らかにした。先行研究との不一致を解消し、ノイズなしの指数が正則化と標本サイズの相互作用によって、古典的なノイズありの指数へと移行することを示した。実データセットを用いた実験でも検証された。

ABSTRACT

In this manuscript we consider Kernel Ridge Regression (KRR) under the Gaussian design. Exponents for the decay of the excess generalization error of KRR have been reported in various works under the assumption of power-law decay of eigenvalues of the features co-variance. These decays were, however, provided for sizeably different setups, namely in the noiseless case with constant regularization and in the noisy optimally regularized case. Intermediary settings have been left substantially uncharted. In this work, we unify and extend this line of work, providing characterization of all regimes and excess error decay rates that can be observed in terms of the interplay of noise and regularization. In particular, we show the existence of a transition in the noisy setting between the noiseless exponents to its noisy values as the sample complexity is increased. Finally, we illustrate how this crossover can also be observed on real data sets.

研究の動機と目的

• カーネルリッジ回帰における一般化誤差の減少率について、ノイズなしとノイズありの状態の間で報告される矛盾を解消すること。
• ノイズレベル、正則化、標本量の複合的要因を考慮した、過剰誤差減少率の全範囲を特徴づけること。
• 古典的な最悪ケース解析と典型ケースのガウス型設計結果を統一し、両状態間での一貫性を示すこと。
• 標本サイズの増加に伴い、ノイズなしからノイズありの誤差指数への連続的移行（クロスオーバー）が存在することを示すこと。
• 実世界のデータセットを用いた実験により、理論的クロスオーバーの有効性を検証すること。

提案手法

• 共分散行列のべき則に従う固有値減衰を示すガウス型設計のもとで、カーネルリッジ回帰を分析する。
• ノイズ、正則化、標本量のバランスをとることで、漸近的過剰一般化誤差率を導出する。
• ランダム行列理論と高次元漸近的解析を用いて、すべての状態における誤差減少の特徴を定量化する。
• 連続的なクロスオーバーを通じて、ノイズなし（ゼロノイズ）とノイズあり（非ゼロノイズ）の誤差指数を統一的な枠組みで結びつける。
• 理論的境界と数値的検証を併用し、合成データおよび実データにおける遷移行動の妥当性を確認する。
• 統計学習理論および統計物理学の先行研究と照らし合わせ、矛盾を解消する。

実験結果

リサーチクエスチョン

• RQ1 カーネルリッジ回帰における一般化誤差の減少率は、ノイズなしとノイズありの状態でどのように変化するか？
• RQ2 正則化と標本量の複合的要因が、ノイズなしとノイズありの誤差指数の間の遷移をどのように媒介するか？
• RQ3 なぜ先行研究では誤差減少率に矛盾が生じるのか？これは統一的枠組みで解消可能か？
• RQ4 典型ケースのガウス型設計解析は、データに依存しない最悪ケースの統計学習理論と整合的か？
• RQ5 実データセット上でも、ノイズなしからノイズありへの誤差行動のクロスオーバーを実証的に観察できるか？

主な発見

• 標本量の増加に伴い、わずかなノイズが存在する場合でも、ノイズなしからノイズありへの一般化誤差減少率の連続的クロスオーバーが観察された。
• ノイズなしの指数（[12,13]で先行して報告）は、正則化と固有値減衰の相互作用により、標本数の増加に伴い古典的なノイズありの指数に移行する。
• 理論的解析により、典型ケースのガウス型設計結果が最悪ケースの統計学習境界と整合的であることが示され、過去の明らかな矛盾が解消された。
• クロスオーバーは正則化パラメータと固有値減衰率の競合に支配され、指数解析により明確な領域が特定された。
• 実データセットを用いた数値実験により、ノイズからノイズなしへのクロスオーバーが存在することが確認され、理論的予測が妥当であることが裏付けられた。
• 青（ノイズなし）とオレンジ（ノイズあり）の誤差指数は極限状態として現れ、中間領域では滑らかな遷移が観察された。