[論文レビュー] Understanding Generalization of Deep Neural Networks Trained with Noisy Labels.

Wei Hu, Zhiyuan Li+1 more|arXiv (Cornell University)|May 27, 2019

Machine Learning and Data Classification被引用数 9

ひとこと要約

本稿では、重みを初期化値に近づける正則化法と、学習可能な補助出力変数を用いた2つの正則化手法を提案する。これにより、ノイズのあるラベルで学習しても、過パラメータ化された深層ニューラルネットワークが綺麗なデータで良好に一般化できる。理論的には、いずれの手法を用いても勾配降下法が、初期ラベルとは同程度の一般化境界を達成できることを示し、ネットワークサイズに依存しない保証を有するニューラル接線カーネル（NTK）解析を用いる。

ABSTRACT

Over-parameterized deep neural networks trained by simple first-order methods are known to be able to fit any labeling of data. Such over-fitting ability hinders generalization when mislabeled training examples are present. On the other hand, simple regularization methods like early-stopping can often achieve highly nontrivial performance on clean test data in these scenarios, a phenomenon not theoretically understood. This paper proposes and analyzes two simple and intuitive regularization methods: (i) regularization by the distance between the network parameters to initialization, and (ii) adding a trainable auxiliary variable to the network output for each training example. Theoretically, we prove that gradient descent training with either of these two methods leads to a generalization guarantee on the clean data distribution despite being trained using noisy labels. Our generalization analysis relies on the connection between wide neural network and neural tangent kernel (NTK). The generalization bound is independent of the network size, and is comparable to the bound one can get when there is no label noise. Experimental results verify the effectiveness of these methods on noisily labeled datasets.

研究の動機と目的

• ノイズのあるラベルで学習する際、早期停止のような単純な正則化手法がなぜ綺麗なデータで一般化性能を向上させるのかを理解すること。
• 過パラメータ化されたネットワークがノイズのあるラベルで学習されても、なぜ良好に一般化できるのかを理論的に説明するギャップを埋めること。
• 学習中にクリアなラベルを必要としない正則化手法を提案・分析し、一般化を保証すること。
• ニューラル接線カーネル（NTK）理論を用いて、ネットワーク幅に依存しない一般化境界を確立すること。

提案手法

• ネットワーク重みとその初期値とのL2距離による正則化を導入し、初期値に近い解への収束を促進する。
• 各訓練サンプルごとに、ネットワーク出力に学習可能な補助変数を追加し、この補助ヘッドを通じてノイズのあるラベルを無視する能力をモデルが学べるよう設計する。
• 一般化境界を導出するために、ニューラル接線カーネル（NTK）フレームワークを用いて学習ダイナミクスを分析する。
• いずれの正則化手法を用いても、勾配降下法がノイズのあるラベルがある中で、綺麗なデータ分布上で一般化に成功することを証明する。
• ネットワーク幅に依存しない一般化境界を導出し、過パラメータ化に対するロバストネスを示す。
• 正則化手法と、一般化に適した解への最適化の暗黙的バイアスとの理論的関係を確立する。

実験結果

リサーチクエスチョン

• RQ1 なぜ早期停止のような単純な正則化手法が、ノイズのあるラベルで学習する際、綺麗なテストデータで良好な一般化性能を示すのか？
• RQ2 正則化を用いることで、ノイズのあるラベルで学習された過パラメータ化ネットワークの一般化性能を理論的に正当化できるか？
• RQ3 初期値からの逸脱をペナルティ化する手法や補助変数を用いる正則化手法は、ネットワークサイズに依存しない一般化境界をもたらすか？
• RQ4 ニューラル接線カーネル（NTK）フレームワークは、ラベルノイズ下での一般化を分析するためにどのように役立つか？
• RQ5 単純で実用的な正則化手法のみを用いて、クリアラベルの場合と同等の一般化境界を達成できるか？

主な発見

• 提案された正則化手法（初期値への重み減衰と補助出力変数）により、ノイズのあるラベルで学習しても、綺麗なデータで一般化が可能である。
• NTK理論を用いて導出した一般化境界は、ネットワーク幅に依存せず、過パラメータ化に対してロバストであることを示している。
• 理論的分析により、両手法とも、クリアラベルが使用された場合と同等の一般化保証に到達することが示された。
• 実験結果により、ノイズのあるラベルを用いたデータセットでも、テスト精度が向上し、理論的主張が妥当であることが確認された。
• 正則化機構は、腐敗したラベルがある中でも、一般化に適した解への最適化の暗黙的バイアスを生じさせている。
• NTKフレームワークは、ラベルノイズ下での過パラメータ化ネットワークの一般化行動を的確に捉え、厳密な解析を可能にした。