[論文レビュー] How does Disagreement Help Generalization against Label Corruption?

Xingrui Yu, Bo Han+4 more|arXiv (Cornell University)|Jan 14, 2019

Machine Learning and Data Classification参考文献 37被引用数 159

ひとこと要約

Co-teaching+ は Update by Disagreement 戦略を用いて二つのネットワークを発散させ、小さな損失のデータでクロス更新を行い、ノイズ付きラベルに対する頑健性を向上させる。

ABSTRACT

Learning with noisy labels is one of the hottest problems in weakly-supervised learning. Based on memorization effects of deep neural networks, training on small-loss instances becomes very promising for handling noisy labels. This fosters the state-of-the-art approach "Co-teaching" that cross-trains two deep neural networks using the small-loss trick. However, with the increase of epochs, two networks converge to a consensus and Co-teaching reduces to the self-training MentorNet. To tackle this issue, we propose a robust learning paradigm called Co-teaching+, which bridges the "Update by Disagreement" strategy with the original Co-teaching. First, two networks feed forward and predict all data, but keep prediction disagreement data only. Then, among such disagreement data, each network selects its small-loss data, but back propagates the small-loss data from its peer network and updates its own parameters. Empirical results on benchmark datasets demonstrate that Co-teaching+ is much superior to many state-of-the-art methods in the robustness of trained models.

研究の動機と目的

• ノイズのあるラベル下で深層ネットワークの頑健な学習を動機づける。
• memorization を小さな損失選択を通じて活用し、きれいデータを特定する。
• 早期の合意を防ぐために二つのネットワーク間の発散を維持する。
• disagreement 更新とパラメータのクロス更新を組み合わせて頑健性を高める。

提案手法

• 二つの深層ネットワークを並行して訓練する。
• 各ミニバッチで予測の不一致を計算し、不一致データのみを保持する。
• 各ネットワークは不一致データから自分の小損失サブセットを選択する。
• 各ネットワークはピアネットワークの小損失データを用いてパラメータを更新する（クロス更新）。
• エポックごとに小損失データ比率 lambda(e) を調整してデータ保持を制御する。
• 不一致更新とクロス更新をエポックを通じて反復的に繰り返す。

実験結果

リサーチクエスチョン

• RQ1 二つのネットワーク間の発散を維持することで単一の合意へ収束を防ぎ、ラベルノイズに対する頑健性を向上させられるか？
• RQ2 不一致に基づく更新と小損失データ選択を組み合わせると、Co-teaching や MentorNet を超え、様々なデータセットで性能を向上させるか？
• RQ3 データ選択比 lambda(e) をどのように進化させれば、クリーンデータ学習とノイズ回避のバランスを取れるか？

主な発見

• Co-teaching+ はシミュレートされたノイズ付きデータセット（MNIST、CIFAR-10、CIFAR-100、NEWS、T-ImageNet）で一貫して Co-teaching、MentorNet、F-correction を上回る。
• 不一致の維持はネットワークを発散させ続け、エポックにわたり頑健な学習を維持する。
• 頑健性の三つの鍵は、小損失トリック、クロス更新、そしてネットワーク間の持続的発散。
• オープンセットや現実世界のノイズ設定でも、ベースラインより高い精度をCo-teaching+が達成。