[論文レビュー] Gradient Descent with Early Stopping is Provably Robust to Label Noise for Overparameterized Neural Networks

Mingchen Li, Mahdi Soltanolkotabi+1 more|arXiv (Cornell University)|Mar 27, 2019

Machine Learning and Data Classification参考文献 47被引用数 155

ひとこと要約

本論文は、初期化近傍のまま最終モデルが留まり、過剰適合が大きな移動を要するまで破損したラベルを無視することで、クラスタ可能なデータモデルの下で1層隠れ層ネットワークにおけるラベルノイズに対する頑健性を、勾配降下法と早期停止がもたらすことを証明する。

ABSTRACT

Modern neural networks are typically trained in an over-parameterized regime where the parameters of the model far exceed the size of the training data. Such neural networks in principle have the capacity to (over)fit any set of labels including pure noise. Despite this, somewhat paradoxically, neural network models trained via first-order methods continue to predict well on yet unseen test data. This paper takes a step towards demystifying this phenomena. Under a rich dataset model, we show that gradient descent is provably robust to noise/corruption on a constant fraction of the labels despite overparameterization. In particular, we prove that: (i) In the first few iterations where the updates are still in the vicinity of the initialization gradient descent only fits to the correct labels essentially ignoring the noisy labels. (ii) to start to overfit to the noisy labels network must stray rather far from from the initialization which can only occur after many more iterations. Together, these results show that gradient descent with early stopping is provably robust to label noise and shed light on the empirical robustness of deep networks as well as commonly adopted heuristics to prevent overfitting.

研究の動機と目的

• 第一次的方法で訓練された過parameterizedニューラルネットワークがラベルノイズの存在下でなぜ一般化するのかを動機づけ、分析する。
• 破損ラベルの一定の割合に対する早期停止付き勾配降下の頑健性を示す理論的枠組みを開発する。
• 初期化からの距離が頑健性と過剰適合をどう規定するかを特徴づける。
• 早期停止が過剰適合を防ぎ、正しいラベル回復を可能にする条件を提供する。

提案手法

• モデル: 隠れ層が k ユニットの1層ニューラルネットワークで、出力重みを固定し、二乗誤差で勾配降下法によって訓練する。
• データ: K 個のクラスタを持ち、K̄ ≤ K 個のクラスまでのクラスタ可能なデータセットで、各クラスタごとに破損率 ρ によって定義されたノイズ/破損ラベル。
• 鍵となる道具: クラスタ中心 C と活性化の導関数から構成されるニューラルネット共分散 Σ(C)、最小固有値 λ(C) がクラス分離性を示す。
• η = constant × K/n × 1/||C||^2 のステップサイズを用いる勾配降下法が、T 回の反復後に初期化の近傍内で解を達成し、近傍クラスタの入力に対して真のラベルを正しく予測することを証明する。
• 残差が大域的特異空間に一致するクリーン残差と小さな部分空間のノイズ残差に分解され、早期停止下での頑健性につながることを示す。
• ノイズラベルへ過適合するには初期化から大きく離れる必要があることを示し、頑健性を初期化からの距離と結び付ける。

実験結果

リサーチクエスチョン

• RQ1 過parameterizedなネットワークにおいて、早期停止付き勾配降下法はラベルノイズの存在下で正しいラベルを理論的に学習できるか？
• RQ2 データ幾何学、クラスタ中心とニューラルネット共分散 λ(C) を通じて、破損ラベルに対する頑健性にどのように影響するか？
• RQ3 初期化からの移動距離がノイズラベルへの過適合を防ぐ役割は何か？
• RQ4 クラスタ中心付近の入力で正しい予測を維持しつつ、どの程度のラベル破損を許容できるか？

主な発見

• 勾配降下法と早期停止は一定割合の破損ラベルに対して頑健であり、クラスタ中心付近の入力に対して正しいラベル予測を達成する。
• 方法は最終パラメータが初期化に近い状態を維持することを要求し、遠くへ移動することはノイズラベルへの過適合と関連する。
• 指定されたデータセットとネットワーク条件の下で高確率で頑健性が成り立ち、破損の界 ρ ≤ δ/8 を含む。
• 頑健性を得る反復回数は控えめで、λ(C) および ||C|| によるデータ幾何学に比例しており、条件付けを除けば通常 O(K)。
• 穏やかな正規化の下で、頑健性と最終的な予測精度はネットワークサイズに依存せず、代わりにクラスタ構造と初期化からの距離に依存する。