[論文レビュー] On the Risk of Minimum-Norm Interpolants and Restricted Lower Isometry of Kernels.

Tengyuan Liang, Alexander Rakhlin+1 more|arXiv (Cornell University)|Aug 27, 2019

Stochastic Gradient Optimization Techniques被引用数 19

ひとこと要約

この論文は、再生核ヒルバート空間（RKHS）における最小ノルム補間関数の一般化リスクを分析し、サンプルサイズ n と入力次元 d = n^α（α ∈ (0,1)）の関数として、リスクが複数の降下を示すことを示している。解析により、理論的予測と一致するピークを示す非単調なリスク曲線が明らかになり、核の等価性を介して過パラメータ化されたニューラルネットワークへと拡張される。

ABSTRACT

We study the risk of minimum-norm interpolants of data in Reproducing Kernel Hilbert Spaces. Our upper bounds on the risk are of a multiple-descent shape for the various scalings of $d = n^{\alpha}$, $\alpha\in(0,1)$, for the input dimension $d$ and sample size $n$. Empirical evidence supports our finding that minimum-norm interpolants in RKHS can exhibit this unusual non-monotonicity in sample size; furthermore, locations of the peaks in our experiments match our theoretical predictions. Since gradient flow on appropriately initialized wide neural networks converges to a minimum-norm interpolant with respect to a certain kernel, our analysis also yields novel estimation and generalization guarantees for these over-parametrized models. At the heart of our analysis is a study of spectral properties of the random kernel matrix restricted to a filtration of eigen-spaces of the population covariance operator, and may be of independent interest.

研究の動機と目的

• 再生核ヒルバート空間（RKHS）における最小ノルム補間関数の一般化リスクを理解すること。
• サンプルサイズ n と入力次元 d = n^α（α ∈ (0,1)）に対するリスクの変化を特徴づけること。
• 高次元設定における非単調的で複数の降下を示すリスク曲線の出現を説明すること。

提案手法

• 母集団共分散作用素の固有空間のフィルトレーションに制限されたランダムカーネル行列のスペクトル特性を分析する。
• カーネル行列の構造と固有値分解を用いて一般化リスクの上界を導出する。
• カーネルのスペクトル減衰と次元スケーリング d = n^α の相互作用を研究する。
• 固有空間のフィルトレーションを用いてリスクを分解し、異なる周波数成分からの寄与を分離する。
• 広い、適切に初期化されたニューラルネットワークにおける勾配フローに分析を適用し、核の等価性を通じて最小ノルム補間関数と結びつける。
• 理論的境界と実験的検証を用いて、リスクの予測されたピークが確認されることを示す。

実験結果

リサーチクエスチョン

• RQ1 α ∈ (0,1) のとき、サンプルサイズと入力次元スケーリング d = n^α に対する RKHS における最小ノルム補間関数の一般化リスクはどのように振る舞うか？
• RQ2 なぜ最小ノルム補間関数は高次元設定において非単調的で複数の降下を示すリスク曲線を示すのか？
• RQ3 過パラメータ化された状態におけるリスク挙動を支配するカーネル行列のスペクトル的性質は何か？
• RQ4 理論的リスク境界は、シミュレートされたまたは実際のデータにおける実験的観察とどのように比較されるか？

主な発見

• α ∈ (0,1) の d = n^α のさまざまなスケーリングにおいて、RKHS における最小ノルム補間関数のリスクは複数の降下的形状を示す。
• 実験的結果により、理論的予測と一致するピークを示す非単調なリスク曲線が確認された。
• カーネル行列のスペクトル構造、特に母集団共分散作用素の固有空間への制限が、リスク挙動を支配する。
• 勾配フローで訓練された過パラメータ化されたニューラルネットワークに対する新しい一般化保証が、関連する RKHS における最小ノルム補間関数に収束することを示している。
• 導出されたリスクの上界は非単調的であり、カーネル固有値減衰と次元スケーリングの相互作用に強く依存する。
• 勾配フローの核の等価性を通じて、広いニューラルネットワークへとその結果が拡張され、それらの一般化特性に関する新たな知見が得られた。