[論文レビュー] Early-Learning Regularization Prevents Memorization of Noisy Labels

Sheng Liu, Jonathan Niles‐Weed+2 more|arXiv (Cornell University)|Jun 30, 2020

Machine Learning and Data Classification参考文献 53被引用数 261

ひとこと要約

本論文はEarly-Learning Regularization (ELR) を導入し、早期学習ダイナミクスと半教師ありのターゲットベース正則化を利用してノイズ付きラベルの memorization を防ぎ、ノイズ付きラベルを持つベンチマークで競争力あるまたは最先端の結果を達成します。

ABSTRACT

We propose a novel framework to perform classification via deep learning in the presence of noisy annotations. When trained on noisy labels, deep neural networks have been observed to first fit the training data with clean labels during an "early learning" phase, before eventually memorizing the examples with false labels. We prove that early learning and memorization are fundamental phenomena in high-dimensional classification tasks, even in simple linear models, and give a theoretical explanation in this setting. Motivated by these findings, we develop a new technique for noisy classification tasks, which exploits the progress of the early learning phase. In contrast with existing approaches, which use the model output during early learning to detect the examples with clean labels, and either ignore or attempt to correct the false labels, we take a different route and instead capitalize on early learning via regularization. There are two key elements to our approach. First, we leverage semi-supervised learning techniques to produce target probabilities based on the model outputs. Second, we design a regularization term that steers the model towards these targets, implicitly preventing memorization of the false labels. The resulting framework is shown to provide robustness to noisy annotations on several standard benchmarks and real-world datasets, where it achieves results comparable to the state of the art.

研究の動機と目的

• ノイズ付きラベルでの訓練研究を動機づけ、高次元の現象として早期学習と記憶化を特定する。
• 早期学習を活用して誤ったラベルの記憶化を減らす正則化ベースの手法を開発する。
• 半教師ありターゲット推定と正則化を活用して勾配を記憶された間違いラベルから逸らす。
• 標準的なノイズ付きラベルベンチマークと実世界データセットでELRとELR+を経験的に評価し、最先端手法と比較する。

提案手法

• 著者はノイズ付きラベルの下でのクロスエントロピーの勾配ダイナミクスを分析し、誤ったラベルの勾配が訓練の後半で優位になることを特定する。
• 正則化項 L_ELR を提案し、クロスエントロピーに lambda/n × sum_i log(1 - <p_i, t_i>) を追加する。ここで p_i はモデル出力、t_i はターゲット確率推定。
• ターゲット t_i は過去のモデル出力の時系列アンサンブリングにより計算され、重み平均と二-network 構成（ELR+）で強化される。
• ELR は勾配に補正 g^i を追加する勾配形を提供し、クリーンラベルの影響を高め、誤ラベルの影響を抑える。
• ターゲット確率 t_i はモーメンタム beta で更新され、時系列アンサンブリングまたは平均加重平均から導出できる。
• データ拡張（ミックスアップ）とネットワークアンサンブルを ELR+ の構成要素として議論し、堅牢性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ノイズ付きラベルを持つ高次元分類において早期学習ダイナミクスを基本的な現象として形式化できるか。
• RQ2 サンプル選択に頼らずに早期学習ダイナミクスに沿った正則化アプローチでノイズ付きラベルの memorization を防げるか。
• RQ3 モデル出力に基づくターゲット確率を勾配に組み込み、クリーンラベルの例への学習を偏らせるにはどうすればよいか。
• RQ4 ELR およびその拡張版 ELR+ は CIFAR-10/100、Clothing1M、WebVision で最先端ノイズラベル手法と比較して競争力のある性能を発揮するか。

主な発見

• ELR は CIFAR-10/100 で対称・非対称ラベルノイズに対して複数のベースラインより一貫してロバスト性を改善する。
• ELR+ は時系列アンサンブリング、重み平均、二ネットワーク、ミックスアップデータ拡張を組み合わせることで性能をさらに向上させ、Clothing1M で最先端、WebVision で競争的な結果を達成する。
• 理論的解析は、初期にはクリーンラベルの勾配が優勢だが後半には誤ラベルの勾配が優勢になり得ることを示し、ELR の勾配補正が memorization を抑制する。
• アブレーション研究は、時系列アンサンブリング、重み平均、二ネットワーク、ミックスアップの各要素が独立して寄与し、特にノイズが高い場合に性能向上に寄与することを示す。