[論文レビュー] Simple and Effective Regularization Methods for Training on Noisily Labeled Data with Generalization Guarantee

Wei Hu, Zhiyuan Li+1 more|arXiv (Cornell University)|May 27, 2019

Machine Learning and Algorithms参考文献 37被引用数 45

ひとこと要約

本論文は、ノイズ付きラベルデータでの学習のための2つのシンプルな正則化手法（初期値までの距離とサンプル毎の補助変数）を提案し、それらがNTKベースのカーネルリッジ回帰と一般化保証をもたらすことを証明し、MNISTとCIFAR-10の実験で裏付けている。

ABSTRACT

Over-parameterized deep neural networks trained by simple first-order methods are known to be able to fit any labeling of data. Such over-fitting ability hinders generalization when mislabeled training examples are present. On the other hand, simple regularization methods like early-stopping can often achieve highly nontrivial performance on clean test data in these scenarios, a phenomenon not theoretically understood. This paper proposes and analyzes two simple and intuitive regularization methods: (i) regularization by the distance between the network parameters to initialization, and (ii) adding a trainable auxiliary variable to the network output for each training example. Theoretically, we prove that gradient descent training with either of these two methods leads to a generalization guarantee on the clean data distribution despite being trained using noisy labels. Our generalization analysis relies on the connection between wide neural network and neural tangent kernel (NTK). The generalization bound is independent of the network size, and is comparable to the bound one can get when there is no label noise. Experimental results verify the effectiveness of these methods on noisily labeled datasets.

研究の動機と目的

• ノイズ付きラベルデータで過parameter化されたネットワークを訓練する際の正則化の必要性を動機づける。
• ノイズ付きラベルへの過学習を抑制する2つのシンプルな正則化手法を提案する。
• 広いネットワークに対してNTKフレームワークを用いた理論的一般化保証を確立する。
• 提案手法がノイズ付きデータに対して早期停止と同等またはそれ以上の性能を示す実証的証拠を示す。

提案手法

• 初期化までの距離による正則化（RDI）は、損失に lambda^2/2 * ||theta - theta(0)||^2 のペナルティを追加する。
• 補助変数法（AUX）は、サンプルごとに学習可能な変数 b_i を導入し、f(theta, x_i) + lambda*b_i を用いて各ノイズ付きラベルに適合させる。
• 広いネットワーク（NTK）領域では、両手法はいずれもNTKを用いたカーネルリッジ回帰解を与える：f*(x) = k(x, X)^T (k(X, X) + lambda^2 I)^{-1} tilde_y。
• 同値性：正則化された目的関数に対する勾配降下法は、線形化NTK回帰と同じダイナミクスを生む。
• 多出力設定への拡張では、各出力が対応するNTKリッジ回帰形に従う。
• 理論解析は、NTK近似 f(theta, x) ≈ f(theta(0), x) + phi(x)^T (theta - theta(0)) および小さな初期化に依存する。

実験結果

リサーチクエスチョン

• RQ1 過parameter化されたネットワークで、単純な正則化スキームはノイズ付きラベルへの過学習を防げるか。
• RQ2 RDIとAUX正則化は、ノイズのある訓練ラベル下でクリーンなデータ分布に対する一般化保証をもたらすか。
• RQ3 これらの手法は、広いネットワークにおけるNTKとカーネルリッジ回帰とどのように関連するか。
• RQ4 提案手法は、ノイズ付きデータに対して早期停止と比較して実用的に有効か。
• RQ5 結果は多クラス分類およびより深いネットワークにも拡張されるか。

主な発見

• RDIとAUXの正則化は、広いネットワーク領域で勾配降下法をNTKを用いたカーネルリッジ回帰へと導く。
• クリーンなデータ分布に対する一般化境界は、ラベルノイズなしの場合の境界と比較可能で、(観測されない) クリーンラベルに依存する。
• 経験的には、RDIとAUXはMNISTとCIFAR-10で、さまざまなラベルノイズレベル下で早期停止と同等またはそれ以上のテスト精度を達成する。
• トレーニング中のウェイトの動きは正則化により抑制され、NTKレジームの期待と一致する。
• AUXは高ノイズのCIFAR-10で強力な性能を示し、MSEとクロスエントロピー損失の両方で競争力のある結果を達成する。