[論文レビュー] The Interpolation Phase Transition in Neural Networks: Memorization and Generalization under Lazy Training

Andrea Montanari, Yiqiao Zhong|arXiv (Cornell University)|Jul 25, 2020

Neural Networks and Applications被引用数 6

ひとこと要約

この論文は、ラージトレーニング下での2層ニューラルネットワークにおける補間の相転移を分析し、隠れユニット数と入力次元の積（Nd）がサンプルサイズ（n）に比べて著しく大きい場合、ニューラルトランジット・カーネル（NTK）が可逆であり、一般化誤差が自己誘導された正則化項を伴うカーネルリッジ回帰によってよく近似されることを示している。主な結果は、過パラメータ化により、任意のラベルを正確に補間しつつも、テスト誤差が低いままであることができることであり、これはNT領域における暗黙のバイアスによるものである。

ABSTRACT

Modern neural networks are often operated in a strongly overparametrized regime: they comprise so many parameters that they can interpolate the training set, even if actual labels are replaced by purely random ones. Despite this, they achieve good prediction error on unseen data: interpolating the training set does not lead to a large generalization error. Further, overparametrization appears to be beneficial in that it simplifies the optimization landscape. Here we study these phenomena in the context of two-layers neural networks in the neural tangent (NT) regime. We consider a simple data model, with isotropic covariates vectors in $d$ dimensions, and $N$ hidden neurons. We assume that both the sample size $n$ and the dimension $d$ are large, and they are polynomially related. Our first main result is a characterization of the eigenstructure of the empirical NT kernel in the overparametrized regime $Nd\gg n$. This characterization implies as a corollary that the minimum eigenvalue of the empirical NT kernel is bounded away from zero as soon as $Nd\gg n$, and therefore the network can exactly interpolate arbitrary labels in the same regime. Our second main result is a characterization of the generalization error of NT ridge regression including, as a special case, min-$\ell_2$ norm interpolation. We prove that, as soon as $Nd\gg n$, the test error is well approximated by the one of kernel ridge regression with respect to the infinite-width kernel. The latter is in turn well approximated by the error of polynomial ridge regression, whereby the regularization parameter is increased by a `self-induced' term related to the high-degree components of the activation function. The polynomial degree depends on the sample size and the dimension (in particular on $\log n/\log d$).

研究の動機と目的

• 過パラメータ化されたニューラルネットワークが訓練データを正確に補間できる条件を理解すること。
• 過パラメータ化された状態におけるニューラルトランジット・リッジ回帰の一般化誤差を特徴づけること。
• 訓練ラベルを記憶しても一般化性能が悪化しない理由を説明すること。
• 高次元設定におけるニューラルトランジットモデルと多項式リッジ回帰の間の関係を確立すること。

提案手法

• 高次元空間における等方的共変量を有するニューラルトランジット（NT）領域における2層ニューラルネットワークを分析する。
• Nd ≫ n の条件下で、経験的NTカーネルの固有構造を導出し、最小固有値がゼロから離れていることを示す。
• 集中不等式および作用素ノルムの境界を用いて、NTカーネルが無限幅極限に安定して近似されることを確立する。
• NTリッジ回帰の一般化誤差を、活性化関数の高次成分に関連する項を加えた有効正則化パラメータを持つ多項式リッジ回帰の一般化誤差と結びつける。
• ベルンシュタインおよび体積に基づくパッキング議論を用いて、ネットワーク重みの被覆数を評価し、一般化境界を確立する。
• n, d → ∞ および n と d が多項式的に関連する漸近的解析を用いて、テスト誤差の鋭い近似を導出する。

実験結果

リサーチクエスチョン

• RQ1 2層ニューラルネットワークがN個の隠れユニットを有する場合、n個の訓練データポイントをどの条件下で補間できるか？
• RQ2 ネットワークが過パラメータ化されている（Nd ≫ n）場合、任意のラベルを補間する際、一般化誤差はどのように振る舞うか？
• RQ3 ニューラルトランジット・リッジ回帰の一般化誤差と、無限幅カーネルに対するカーネルリッジ回帰の一般化誤差の関係は何か？
• RQ4 ラージトレーニング領域における暗黙の正則化は、補間領域における一般化にどのように影響するか？
• RQ5 一般化誤差は多項式リッジ回帰で近似可能か？その場合、有効正則化パラメータは何か？

主な発見

• Nd ≫ n の場合、経験的NTカーネルの最小固有値はゼロから離れており、任意のラベルの正確な補間を保証する。
• NTリッジ回帰の一般化誤差は、無限幅カーネルに対するカーネルリッジ回帰の一般化誤差によく近似される。
• 同等の多項式リッジ回帰モデルにおける有効正則化パラメータには、活性化関数の高次成分に比例する自己誘導項が含まれる。
• 同等の回帰モデルにおける多項式の次数は log n / log d のスケールを示し、サンプルサイズと次元の間の相互作用を反映する。
• ラベルがランダムであっても、NT領域の暗黙のバイアスおよび過パラメータ化領域におけるカーネルの安定性のおかげで、テスト誤差は低いままである。
• log n = o(min{N, d}) の条件下で、一般化誤差は高確率で有界であることが示され、過パラメータ化に対してロバストであることが確認された。