[論文レビュー] Exact Gap between Generalization Error and Uniform Convergence in Random Feature Models

Zitong Yang, Yu Bai+1 more|arXiv (Cornell University)|Mar 8, 2021

Stochastic Gradient Optimization Techniques参考文献 49被引用数 4

ひとこと要約

本稿は、非線形ランダム特徴モデルにおける一般化誤差と一様収束バウンドの差の最初の正確な漸近的解析を提供する。古典的一様収束、補間関数に対する一様収束、最小ノルム補間関数のリスクについて、明確な式を導出している。その結果、ノイズのある設定では古典的一様収束バウンドが空虚になる一方で、補間関数に対する一様収束は非空虚であり、テスト誤差をきびしく制御することが示された。

ABSTRACT

Recent work showed that there could be a large gap between the classical uniform convergence bound and the actual test error of zero-training-error predictors (interpolators) such as deep neural networks. To better understand this gap, we study the uniform convergence in the nonlinear random feature model and perform a precise theoretical analysis on how uniform convergence depends on the sample size and the number of parameters. We derive and prove analytical expressions for three quantities in this model: 1) classical uniform convergence over norm balls, 2) uniform convergence over interpolators in the norm ball (recently proposed by Zhou et al. (2020)), and 3) the risk of minimum norm interpolator. We show that, in the setting where the classical uniform convergence bound is vacuous (diverges to $\infty$), uniform convergence over the interpolators still gives a non-trivial bound of the test error of interpolating solutions. We also showcase a different setting where classical uniform convergence bound is non-vacuous, but uniform convergence over interpolators can give an improved sample complexity guarantee. Our result provides a first exact comparison between the test errors and uniform convergence bounds for interpolators beyond simple linear models.

研究の動機と目的

• 過パラメータ化されたモデルにおける古典的一様収束バウンドと実際の一般化誤差の乖離を解消すること。
• 非線形ランダム特徴モデルにおける補間解に特化した一様収束の振る舞いを分析すること。
• ノルムボール上での古典的一様収束と、補間関数に制限された修正版の一様収束を比較すること。
• 高次元設定における一般化誤差と一様収束バウンドの正確な漸近的挙動を定量化すること。
• 線形モデルを超えた補間領域における一般化の理論的枠組みを明確にすること。

提案手法

• 高次元確率的行列理論を用いて、半径√Aのノルムボール上での古典的一様収束の正確な漸近的表現を導出する。
• Zhouら（2020）が提案したように、同じノルムボール内での補間関数に限定した一様収束バウンドを導入・分析する。
• 高次元極限におけるMei & Montanari（2019）の結果を用いて、最小ノルム補間関数のリスクを計算する。
• Gegenbauer多項式およびHermite多項式を用いて活性化関数を表現し、ランダム特徴カーネルのスペクトル構造を分析する。
• n, d → ∞ の極限において、ψ₁ = n/d および ψ₂ = N/d を固定したもとで、経験的量がその漸近的対応物に収束することを確立する。
• 球面調和関数空間における直交分解を適用し、𝒰, 𝒯, 𝒓 の3つの主要な量の正確な表現を導出する。

実験結果

リサーチクエスチョン

• RQ1 モデルが訓練データを補間する場合、ラベルノイズが存在する状況で古典的一様収束はどのように振る舞うか？
• RQ2 古典的一様収束が空虚になる状況において、補間関数に対する一様収束が一般化誤差に対して非空虚なバウンドを提供できるか？
• RQ3 最小ノルム補間関数の一般化誤差と、補間関数に対する一様収束バウンドとの正確な関係は何か？
• RQ4 古典的フレームワークと補間関数制限付きフレームワークにおける一般化のサンプル複雑度はどのように異なるか？
• RQ5 どの範囲で、補間関数に対する修正された一様収束が古典的バウンドをサンプル複雑度の観点から改善するか？

主な発見

• ノイズのある状態（τ² > 0）では、古典的一様収束𝒰は√ψ₂に比例して増大し、空虚になるが、補間関数に対する一様収束𝒯は有界のままであり、定数に収束する。
• ノイズのある状態では、最小ノルム補間関数の一般化誤差𝒓はψ₂⁻¹に比例して減少し、超過リスク𝒓 − τ²もψ₂⁻¹に比例して減少する。
• ノイズなし状態（τ² = 0）では、一般化誤差𝒓はψ₂⁻²に比例して減少し、超過リスク𝒓 − τ²はψ₂⁻¹より速く減少する。
• ノイズなし状態では、古典的一様収束𝒰はψ₂⁻¹/²に比例して減少し、補間関数に対する一様収束𝒯もψ₂⁻¹/²に比例して減少する。これは、古典的バウンドに比べてサンプル複雑度が改善されていることを示す。
• ノイズのある状況では、古典的一様収束と実際の一般化誤差の差が大きくなるが、補間関数に対する修正されたバウンドは依然としてきびしく非空虚のままである。
• 𝒰, 𝒯, 𝒓 の漸近的表現はψ₁ = N/dおよびψ₂ = n/dの関数として導出され、高次元極限において集中することが示された。