[論文レビュー] For interpolating kernel machines, minimizing the norm of the ERM solution minimizes stability

Akshay Rangamani, Lorenzo Rosasco+1 more|arXiv (Cornell University)|Jun 28, 2020

Sparse and Compressive Sensing Techniques参考文献 25被引用数 4

ひとこと要約

この論文は、補間型カーネルマシンにおいて、経験的リスク最小化（ERM）解のノルムを最小化すると、交差検証安定性の上限が最小化され、その結果として一般化誤差が制御されることを確立している。主な結果は、最小ノルム補間解が最適な安定性およびリスクの上限を達成することを示しており、過パrameter化された設定における数値的安定性（カーネル行列の条件数）と統計的安定性を結びつけている。

ABSTRACT

We study the average $\mbox{CV}_{loo}$ stability of kernel ridge-less regression and derive corresponding risk bounds. We show that the interpolating solution with minimum norm minimizes a bound on $\mbox{CV}_{loo}$ stability, which in turn is controlled by the condition number of the empirical kernel matrix. The latter can be characterized in the asymptotic regime where both the dimension and cardinality of the data go to infinity. Under the assumption of random kernel matrices, the corresponding test error should be expected to follow a double descent curve.

研究の動機と目的

• 正則化なしに訓練データを完全に適合させる（補間）過パrameter化されたカーネル法における一般化を理解すること。
• 安定性に基づくアプローチを用いて、カーネル最小二乗法における補間解の安定性を特徴づけること。
• すべての補間解の中で、最小ノルム解が交差検証安定性の上限を最小化することを示すこと。
• 経験的カーネル行列の条件数と、数値的および統計的安定性の両者との間の関係を確立すること。

提案手法

• 交差検証（LOO）安定性を指標として用い、カーネル最小二乗法における補間解の安定性を分析する。
• 経験的カーネル行列の条件数に依存する LOO 安定性の上界を導出する。
• 行列不等式およびランダム行列理論を用いて、標本サイズ n と次元 d がともに大きくなる際のカーネル行列の漸近的挙動を分析する。
• 最小ノルム解が導出された安定性上限を最小化することを示し、より良い一般化を示唆する。
• 安定性上限をカーネル行列の疑似逆行列に関連づけ、数値的安定性と統計的安定性を結びつける。
• 勾配降下法が線形カーネル設定において最小ノルム解に収束することを示し、結果が最適化ダイナミクスに適用可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 ERM 解のノルムを最小化することは、補間的カーネルマシンにおけるより良い安定性および一般化をもたらすか？
• RQ2 補間解の安定性は、経験的カーネル行列の条件数とどのように関係しているか？
• RQ3 安定性に基づく上限は、過パrameter化されたカーネルモデルで観察されるテスト誤差のダブルデセント現象を説明できるか？
• RQ4 カーネル法において、数値的安定性（条件数）と統計的安定性（LOO）の間にリンクはあるか？
• RQ5 最小ノルム解は、他の補間解と比較して、リスクおよび安定性の観点でどのように異なるか？

主な発見

• 最小ノルム補間解は、LOO 安定性の上界を最小化しており、これはすべての補間解の中で最良の一般化性能を示していることを示唆する。
• 安定性上限は、経験的カーネル行列の条件数によって制御されており、これが数値的および統計的安定性の両方を支配する。
• n と d がともに大きくなる漸近的状態において、カーネル行列の条件数はダブルデセント曲線に従い、実験的観察と一致する。
• 最小ノルム解のリスク上限は、カーネル行列の疑似逆行列に依存しており、数値的安定性と統計的安定性の直接的な関係を確立する。
• 勾配降下法は線形カーネル設定において最小ノルム解に収束するため、安定性の利点が標準的な学習手順に適用可能である。
• これらの結果は、正則化なしに過パarameter化領域で成功するリッジレスカーネル法の理論的基盤を提供し、明示的な正則化なしに一般化を説明する。