[論文レビュー] Uniform Convergence of Interpolators: Gaussian Width, Norm Bounds, and Benign Overfitting

Frederic Koehler, Lijia Zhou+2 more|arXiv (Cornell University)|Jun 17, 2021

Sparse and Compressive Sensing Techniques参考文献 27被引用数 8

ひとこと要約

本稿は、ガウス型特徴を用いた高次元線形回帰における補間器の均一収束フレームワークを確立し、ガウス幅を用いて一般化誤差を上限付ける。低ノルムの補間器—特に最小 ℓ₁-および ℓ₂-ノルム解—が良性過適合を達成することを証明し、既知の一貫性結果を回復するとともに、この設定における基底追求（ℓ₁-最小化）の最初の一致保証を確立する。

ABSTRACT

We consider interpolation learning in high-dimensional linear regression with Gaussian data, and prove a generic uniform convergence guarantee on the generalization error of interpolators in an arbitrary hypothesis class in terms of the class's Gaussian width. Applying the generic bound to Euclidean norm balls recovers the consistency result of Bartlett et al. (2020) for minimum-norm interpolators, and confirms a prediction of Zhou et al. (2020) for near-minimal-norm interpolators in the special case of Gaussian data. We demonstrate the generality of the bound by applying it to the simplex, obtaining a novel consistency result for minimum l1-norm interpolators (basis pursuit). Our results show how norm-based generalization bounds can explain and be used to analyze benign overfitting, at least in some settings.

研究の動機と目的

• ガウス特徴を用いた高次元線形回帰における補間器の一般均一収束分析を提供すること。
• ノルムに基づく一般化誤差の上限が、補間学習における良性過適合を説明できることを示すこと。
• 最小ノルム補間器に関する既存の一貫性結果を、最小 ℓ₂-ノルムのケースにとどまらないより広いクラスの補間器へと拡張すること。
• 高次元ガウス線形回帰における最小 ℓ₁-ノルム補間器（基底追求）の最初の有限標本一貫性結果を確立すること。
• ゼロ訓練誤差予測子における均一収束が、ノイズありの過パラメータ化設定においてタイトな一般化誤差上限をもたらす可能性があることを示すこと。

提案手法

• 仮説クラスのガウス幅を用いて、補間器の一般化誤差に対する一般有限標本高確率均一収束上限を導出する。
• ガウスミニマックス定理を適用し、一般化ギャップを仮説クラスのガウス幅およびノルム制約に関連付ける。
• ノルム制約と集中不等式を用いて、高次元漸近的条件下での最小 ℓ₂-および ℓ₁-ノルム補間器の挙動を制御する。
• 設計行列の有効ランクと補間器の一般化性能の関係を、ガウス幅解析を通じて確立する。
• 特に、独立同一に分布するガウス確率変数の期待最大値に関する結果を用い、高次元ガウス分布の ℓ∞-ノルムを制御する。
• ノルム有界集合上の均一収束と補間制約を組み合わせることで、補間器の母集団リスクに対する有限標本上限を導出する。

実験結果

リサーチクエスチョン

• RQ1 均一収束の議論は、ガウス特徴を用いた高次元線形回帰における良性過適合を説明できるか？
• RQ2 補間器の一般化性能は、特定の最適化経路よりも主にそのノルムに依存するのか？
• RQ3 ゼロ訓練誤差予測子における均一収束は、ノイズありの過パラメータ化設定においてタイトな一般化誤差上限をもたらすか？
• RQ4 最小 ℓ₁-ノルム補間器（基底追求）は、ガウス設計および加法的ノイズを伴う高次元線形回帰で一貫性を示すか？
• RQ5 仮説クラスのガウス幅は、その補間解の一般化誤差とどのように関係するか？

主な発見

• 本稿は、仮説クラスのガウス幅に基づく、補間器に対する一般均一収束上限を確立し、有限標本で高確率に有効であることを示した。
• ℓ₂-ノルム球にこの上限を適用することで、ガウス設計下での最小 ℓ₂-ノルム補間器に関する [66] の一貫性結果が回復された。
• 本稿の結果により、[73] で予想された近似的最小ノルム補間器の上限が、ガウスデータの特別な場合に確認された。
• 本稿は、ガウス特徴およびノイズを伴う高次元線形回帰における最小 ℓ₁-ノルム補間器（基底追求）の最初の有限標本一貫性を証明した。
• 最小 ℓ₁-ノルム補間器の一般化誤差は、(1+η)(σ² + ||w*||₂²) の係数で上限づけられ、η は標本サイズ、次元、スパarsity に依存する小さな誤差項である。
• 解析により、設計行列の有効ランク（ガウス幅によって捉えられる）が、補間器の一般化性能を決定づける重要な役割を果たすことが示された。