[論文レビュー] The Eigenlearning Framework: A Conservation Law Perspective on Kernel Regression and Wide Neural Networks

James B. Simon, Madeline Dickens+2 more|arXiv (Cornell University)|Oct 8, 2021

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、固定された「学習可能性」予算の下で、核固有モードの間の競争として定式化することにより、カーネルリッジ回帰（KRR）の一般化解析を簡素化する、新たな保存則の視点であるEigenlearningフレームワークを導入する。主な貢献は、基本的な線形代数のみを用いて、テストリスクおよび一般化指標の閉形式で解釈可能な理論を提供することであり、統計物理学と深い関係を明らかにし、深層学習の一般化および敵対的ロバストネスに関する新たな理論的知見を可能にする。

ABSTRACT

We derive simple closed-form estimates for the test risk and other generalization metrics of kernel ridge regression (KRR). Relative to prior work, our derivations are greatly simplified and our final expressions are more readily interpreted. These improvements are enabled by our identification of a sharp conservation law which limits the ability of KRR to learn any orthonormal basis of functions. Test risk and other objects of interest are expressed transparently in terms of our conserved quantity evaluated in the kernel eigenbasis. We use our improved framework to: i) provide a theoretical explanation for the "deep bootstrap" of Nakkiran et al (2020), ii) generalize a previous result regarding the hardness of the classic parity problem, iii) fashion a theoretical tool for the study of adversarial robustness, and iv) draw a tight analogy between KRR and a well-studied system in statistical physics.

研究の動機と目的

• カーネルリッジ回帰（KRR）の一般化に関する既存の理論的結果を、新たな保存則を用いて簡素化し、再解釈すること。
• KRRにおけるテストリスクおよびその他の一般化指標を推定する透明性があり閉形式なフレームワークを提供すること。
• 深層学習における実験的現象（例えば「ディープブートストラップ」や敵対的ロバストネス）を、統一的な理論的枠組みで説明すること。
• KRRと統計物理学における自由フェルミガスモデルとの間のきめ細やかな類似性を確立し、分野間の知見の交換を可能にすること。
• レプリカ理論やランダム行列理論に依存する既存の研究よりも、KRR一般化の導出をよりアクセスしやすい形で提供すること。

提案手法

• 「学習可能性」を保存量として導入：目標関数と予測関数の内積であり、訓練サンプル数によって制約される。
• 任意の正規直交関数基底における総学習可能성이、訓練サンプル数を超えることはなく、リッジパラメータがゼロのとき等号が成り立つ保存則を導出する。
• テストリスク、予測共分散、その他の指標を、固有モードごとの学習可能性を用いて閉形式式（例：式7–14）で表現する。
• 離散的および連続的設定の両方におけるKRRにこのフレームワークを適用し、有限のリッジおよびサンプルサイズを補正するための摂動パラメータδ/Mを用いる。
• このフレームワークを用いて、予測関数の滑らかさに基づく敵対的ロバストネスの推定器を導出し、ディープブートストラップ現象を分析する。
• KRRと自由フェルミガスの間の形式的な類似性を確立し、既知の統計物理学の結果を活用してKRRの挙動を解釈する。

実験結果

リサーチクエスチョン

• RQ1 カーネルリッジ回帰における一般化指標を、基本的な線形代数のみを用いて閉形式かつ解釈可能な形でどのように表現できるか？
• RQ2 ワイドニューラルネットワークにおける観察された「ディープブートストラップ」現象の理論的根拠は何か？また、固有モードの競合によってどのように説明できるか？
• RQ3 学習可能性的な保存則が、KRRが直交する目標関数を学習する能力にどのように制約を加えるか？
• RQ4 このフレームワークは、機械学習モデルにおける敵対的ロバストネスを分析するための新たな理論的ツールを提供できるか？
• RQ5 カーネルリッジ回帰と統計物理学における自由フェルミガスとの間の正確な数学的類似性は何か？

主な発見

• 任意の正規直交関数基底における総学習可能性は保存され、訓練サンプル数で上限づけられ、リッジパラメータがゼロのとき等号が成り立つ。
• KRRにおけるテストリスクおよび予測共分散は、固有モードごとの学習可能性を用いて閉形式で表現可能であり、従来のレプリカ理論に基づく導出に比べて顕著な簡素化が達成される。
• このフレームワークは、2つの明確な学習段階（初期段階と後期段階）を特定することで、「ディープブートストラップ」現象を説明する。それぞれの段階で異なる固有モードが支配的になる。
• 予測関数の滑らかさを推定する新しい推定器が導出され、敵対的ロバストネスの研究に理論的ツールを提供する。
• この系は自由フェルミガスときわめて類似しており、固有モードの学習可能性はフェルミオンの占有数に類似しており、統計物理学からの知見の転用が可能になる。
• リッジパラメータκの解析的境界が導出され、それが訓練サンプル数の増加に伴い減少し、カーネル固有値のスペクトルに敏感であることが示された。