[論文レビュー] Benign Overfitting without Linearity: Neural Network Classifiers Trained by Gradient Descent for Noisy Linear Data

Spencer Frei, Niladri S. Chatterji+1 more|arXiv (Cornell University)|Feb 11, 2022

Model Reduction and Neural Networks被引用数 5

ひとこと要約

この論文は、ノイズのある線形データ上で勾配降下法で訓練された2層ReLUニューラルネットワークが、誤ったラベルに対してゼロの訓練損失を達成しながらも最小最大最適なテスト誤差を維持する、良性過適合を示している。先行研究が線形またはカーネルモデルに限定されていたのに対し、本研究では有限幅のネットワークと非漸近的保証を用いて、完全に非線形な設定でもその結果を確立している。

ABSTRACT

Benign overfitting, the phenomenon where interpolating models generalize well in the presence of noisy data, was first observed in neural network models trained with gradient descent. To better understand this empirical observation, we consider the generalization error of two-layer neural networks trained to interpolation by gradient descent on the logistic loss following random initialization. We assume the data comes from well-separated class-conditional log-concave distributions and allow for a constant fraction of the training labels to be corrupted by an adversary. We show that in this setting, neural networks exhibit benign overfitting: they can be driven to zero training error, perfectly fitting any noisy training labels, and simultaneously achieve minimax optimal test error. In contrast to previous work on benign overfitting that require linear or kernel-based predictors, our analysis holds in a setting where both the model and learning dynamics are fundamentally nonlinear.

研究の動機と目的

• 勾配降下法で訓練されたニューラルネットワークが、ノイズのあるラベルを補間しても一般化性能が良いのはなぜかを理解すること。
• 良性過適合の理論を線形モデルやカーネルモデルにとどまらず、完全に非線形な2層ReLUネットワークへと拡張すること。
• 高次元で線形分離可能なデータにおいて、敵対的ラベルノイズが存在する状況での一般化を分析すること。
• 勾配降下法のダイナミクスが、ノイズのあるサンプルが完璧に適合されても、クリーンなデータポイントの正規化マージンを制御できることを示すこと。
• 有限幅のネットワークにおいて、ニューラル接線カーネル領域を逸脱した軌道をたどる中で、良性過適合が成立することを示すこと。

提案手法

• 勾配降下法で訓練された、滑らかにしたリークリLU活性化関数を用いた2層ReLUネットワークを、ロジスティック損失に関して分析する。
• データがクラスごとに分離された、対数凹分布に従い、一定割合の敵対的ラベルノイズが付加されたものと仮定する。
• 訓練中にすべての例の損失がほぼ均等に減少することを示すために、「損失比の上限」を導入する。これにより、ノイズのある例がダイナミクスを支配することを防ぐ。
• 高次元性を活用してデータポイント同士の相互直交性を確保し、クリーンなデータの正規化マージンを制御可能にする。
• 勾配ノルムの下界を用いた代理のPL不等式を用いる：$\|\nabla\widehat{L}(W)\|_F \geq \frac{\gamma\|\mu\|}{4}\widehat{G}(W)$。これにより、損失の減少とマージンの増加を結びつける。
• 有限幅ネットワークのダイナミクスと非漸近的解析を用いて、カーネル極限に依存せずに、ゼロ損失への収束と最小最大最適なテスト誤差の達成を示す。

実験結果

リサーチクエスチョン

• RQ1 勾配降下法で訓練された非線形ニューラルネットワークが、ノイズのあるデータ上で良性過適合を示すことができるか？
• RQ2 ラベルが敵対的に汚染されている状況でも、補間を行う2層ReLUネットワークの一般化性能は最適のままであるか？
• RQ3 ノイズのあるサンプルが完全に適合されても、勾配降下法のダイナミクスがクリーンなデータポイントの大きな正規化マージンを保証できるか？
• RQ4 有限幅のネットワークにおいて、ニューラル接線カーネル領域から逸脱した状況でも良性過適合が可能か？
• RQ5 損失の減少レートとマージンダイナミクスの相互作用が、非線形モデルにおける一般化をどのように可能にするか？

主な発見

• 勾配降下法で訓練されたニューラルネットワークは、一定割合の敵対的ラベルノイズが付加されたデータにおいて、ゼロの訓練損失を達成する。
• ノイズのあるラベルを完全に補間しても、テスト誤差は最小最大最適のままであり、非線形設定における良性過適合が確認された。
• すべての例の損失減少レートがバランスしているため、クリーンなデータポイントの正規化マージンは訓練全体を通して大きく保たれる。
• 損失比の上限により、特定の例（特にノイズのある例）が勾配降下の軌道を支配することを防げる。
• 解析は有限幅のネットワークに対しても成立し、重みがランダム初期値から著しく移動していることから、カーネル領域の行動ではないことが裏付けられた。
• 証明では代理のPL不等式 $\|\nabla\widehat{L}(W)\|_F \geq \frac{\gamma\|\mu\|}{4}\widehat{G}(W)$ が確立され、$T = \Omega(\varepsilon^{-2})$ ステップでゼロ損失への収束が保証された。