[論文レビュー] Benign Overfitting and Noisy Features

Li Zhu, Weijie Su+1 more|arXiv (Cornell University)|Aug 6, 2020

Stochastic Gradient Optimization Techniques参考文献 33被引用数 6

ひとこと要約

この論文は、特徴量におけるノイズが暗黙の正則化として機能することにより、ランダム特徴量モデルにおける良性過適合が生じることを説明している。最小ノルム最小二乗推定器を分析することで、過剰リスクのタイトな境界を導出し、ノイズが過パラメータ化およびゼロトレーニング誤差下でも二重降下と最適な一般化を可能にすることを示している。

ABSTRACT

Modern machine learning models often exhibit the <i>benign overfitting</i> phenomenon, which has recently been characterized using the <i>double descent</i> curves. In addition to the classical U-shaped learning curve, the learning risk undergoes another descent as we increase the number of parameters beyond a certain threshold. In this article, we examine the conditions under which benign overfitting occurs in the random feature (RF) models, that is, in a two-layer neural network with fixed first layer weights. Adopting a novel view of random features, we show that benign overfitting emerges because of the noise residing in such features. The noise may already exist in the data and propagates to the features, or it may be added by the user to the features directly. Such noise plays an implicit yet crucial regularization role in the phenomenon. In addition, we derive the explicit tradeoff between the number of parameters and the prediction accuracy, and for the first time demonstrate that overparameterized model can achieve the <i>optimal learning rate</i> in the minimax sense. Finally, our results indicate that the learning risk for overparameterized models has multiple, instead of double descent behavior, which is empirically verified in recent works. Supplementary materials for this article are available online.

研究の動機と目的

• トレーニング誤差がゼロであるが一般化性能が良好である過パラメータ化モデルにおける良性過適合のメカニズムを理解すること。
• データ由来または意図的に追加されたノイズが、暗黙の正則化の駆動要因として果たす役割を調査すること。
• 弱い仮定の下でランダム特徴量モデルにおける過剰リスクの鋭い上界と下界を提供すること。
• ノイズの減衰率と特徴量構造の観点から、二重降下現象を特徴づけること。
• 古典的なバイアス・バリアンスのトレードオフを超えて、現代の深層学習の一般化を理論的に理解を拡張すること。

提案手法

• 固定された第1層重みをもつランダム特徴量モデルにおける最小ノルム最小二乗（MNLS）推定器を分析する。
• 特徴量行列を決定的成分とノイズ行列 ξ の和としてモデル化し、ξ は特徴量レベルのノイズを表す。
• ランダム行列理論を用いて、Gram行列 s/n ZᵀZ の固有値の挙動、特に最小固有値 µₙ を研究する。
• 集中不等式と行列の摂動理論を適用して、正則化されたGram行列の逆行列の境界を求める。
• ノイズと逆Gram行列の積のトレースを分析することで、過剰リスクの上界と下界を導出する。
• 摂動されたGram行列の固有値における σ₀²/n に依存する正則化効果を導入し、ノイズと暗黙のバイアスを結びつける。

実験結果

リサーチクエスチョン

• RQ1 ランダム特徴量におけるノイズは、過パラメータ化モデルにおける良性過適合にどのように寄与するか？
• RQ2 最小ノルム最小二乗推定器がゼロトレーニング誤差下でも低一般化誤差を達成するための条件は何か？
• RQ3 特徴量ノイズがランダム特徴量モデルにおける二重降下曲線をどのように規定するか？
• RQ4 特徴量のノイズが引き起こす暗黙の正則化によって、二重降下の挙動を説明できるか？
• RQ5 特徴量ノイズの減衰率は、一般化性能およびリスク最小値の位置にどのように影響するか？

主な発見

• 特徴量におけるノイズ（ξ）は、重要な暗黙の正則化役割を果たし、補間領域においても低一般化誤差を実現可能にする。
• 過剰リスクは O(σ² Tr(Σ) s / n²) のスケーリングを示す上界と下界で抑えられ、ノイズ分散と特徴量次元に明示的な依存関係を示す。
• 正則化されたGram行列の最小固有値 µₙ(Aξ) は 1/(c₅n) で下界が保証され、MNLS推定器の可逆性と安定性が保証される。
• 二重降下曲線は、特徴量ノイズと過パラメータ化の相互作用から自然に出現し、nパラメータを超えてリスクが低下する。
• 解析は弱い仮定の下でも成り立つ：データにガウス分布やサブガウス分布の仮定は不要で、カーネルおよび特徴量構造に対してもきわめて弱い条件で成立する。
• 結果から、特徴量ノイズの減衰率を調整することで最適なバイアス・バリアンストレードオフが達成可能であり、深層学習アーキテクチャの設計原理が得られる。