[論文レビュー] Combating noisy labels by agreement: A joint training method with co-regularization

Hongxin Wei, Lei Feng+2 more|arXiv (Cornell University)|Mar 5, 2020

Machine Learning and Data Classification参考文献 44被引用数 67

ひとこと要約

JoCoR は、監督付き学習と共正則化を組み合わせた結合損失で2つのネットワークを訓練し、合意を最大化し、小損失選択を用い、MNIST、CIFAR、Clothing1M を横断してノイズ付きラベルに対する頑健性を向上させる。

ABSTRACT

Deep Learning with noisy labels is a practically challenging problem in weakly supervised learning. The state-of-the-art approaches "Decoupling" and "Co-teaching+" claim that the "disagreement" strategy is crucial for alleviating the problem of learning with noisy labels. In this paper, we start from a different perspective and propose a robust learning paradigm called JoCoR, which aims to reduce the diversity of two networks during training. Specifically, we first use two networks to make predictions on the same mini-batch data and calculate a joint loss with Co-Regularization for each training example. Then we select small-loss examples to update the parameters of both two networks simultaneously. Trained by the joint loss, these two networks would be more and more similar due to the effect of Co-Regularization. Extensive experimental results on corrupted data from benchmark datasets including MNIST, CIFAR-10, CIFAR-100 and Clothing1M demonstrate that JoCoR is superior to many state-of-the-art approaches for learning with noisy labels.

研究の動機と目的

• 教師あり深層学習において訓練ラベルがノイズである場合の頑健な学習を促進する。
• 共正規化を通じて2つの分類器間の散逸を減らす結合訓練パラダイムを提案する。
• 合意ベースの正則化と小損失サンプル選択が、ベンチマークのノイズ付きラベルデータセットの性能を改善することを示す。
• 共正規化と結合訓練の影響を分離するアブレーションを示す。

提案手法

• 異なる初期化を持つ2つのネットワークを、監督 loss と共正規化項を組み合わせた単一の損失関数を用いて共同訓練する。
• 監督 loss は、与えられた（おそらくノイズのある）ラベルに対して両ネットワークのクロスエントロピー損失の和である。
• 共正規化は、2つのネットワークの予測分布間の対称KL発散（JS発散の代理）として実装される。
• 小損失選択は、結合損失が最も小さい例のサブセットを選ぶことで、バッチ上で行われる。
• 保持される小損失例の比率 R(t) は、ノイズデータへの過学習を抑えるためにエポックごとにスケジュールされる。
• トレーニングはpseudo-siameseパラダイムに従い、両ネットワークが共同で更新され、クロス更新によらない。
• この手法は、MNIST、CIFAR-10、CIFAR-100、Clothing1M に対して、合成ノイズおよび実世界ノイズラベルの両方で評価される。

実験結果

リサーチクエスチョン

• RQ1 2つの分類器間の合意ベースの正則化は、ノイズ付きラベル訓練において不一致更新の必要性を排除できるか？
• RQ2 共正規化を伴う結合訓練は、既存の不一致ベースの方法と比較してノイズ付きラベルへの頑健性を向上させるか？
• RQ3 ネットワーク間の協力を強制する結合損失に導かれた小損失サンプル選択はどれほど効果的か？
• RQ4 共正規化と結合訓練のアブレーション成分がラベルの精度とテスト精度に及ぼす影響は？

主な発見

• JoCoR は、さまざまなノイズレジーム下で MNIST、CIFAR-10、CIFAR-100、Clothing1M に対して、いくつかの最先端ベースラインより高いテスト精度を達成する。
• この手法はミニバッチでのラベル精度を高め、トレーニング中にクリーンなインスタンスのより効果的な選択を示す。
• アブレーション研究は、Co-RegularizationとJoint Trainingの両方が性能に大きく寄与することを示し、Co-Regularizationはノイズラベルのメモリ化を防ぐ。
• Co-teachingおよびCo-teaching+と比較して、ノイズが増加してもJoCoRは性能を維持または向上させ、最も難しい対称・非対称ノイズ設定も含む。
• このアプローチは、合成ノイズと実世界ノイズラベルの両方に対して頑健性を維持することで強力な一般化を示す。