[論文レビュー] Co-sampling: Training Robust Networks for Extremely Noisy Supervision

Bo Han, Quanming Yao+6 more|arXiv (Cornell University)|Apr 18, 2018

Machine Learning and Data Classification参考文献 20被引用数 7

ひとこと要約

この論文では、ノイズの高いラベルに対してノイズ遷移行列の推定を必要とせずに、深層ネットワークの頑健な学習パラダイムであるCo-samplingを提案する。2つのネットワークを同時に学習させ、それぞれが相手のネットワークから低損失のサンプルを選択し、それらで相互に学習を行う。この手法により、模擬的なノイズのあるデータセットにおいて最先端の性能を達成する。

ABSTRACT

Training robust deep networks is challenging under noisy labels. Current methodologies focus on estimating the noise transition matrix. However, this matrix is not easy to be estimated exactly. In this paper, free of the matrix estimation, we present a simple but robust learning paradigm called Co-sampling, which can train deep networks robustly under extremely noisy labels. Briefly, our paradigm trains two networks simultaneously. In each mini-batch data, each network samples its small-loss instances, and cross-trains on such instances from its peer network. We conduct experiments on several simulated noisy datasets. Empirical results demonstrate that, under extremely noisy labels, the Co-sampling approach trains deep learning models robustly.

研究の動機と目的

• ラベルノイズが深刻で広範にわたる極度にノイズの高い教師信号下で深層ネットワークを学習するという課題に対処すること。
• 実際には実行不可能な場合が多い正確なノイズ遷移行列の推定に依存しないようにすること。
• 複雑なノイズモデリングを必要とせず、単純だが効果的な学習パラダイムを構築することにより、ラベルノイズに対する耐性を高めること。
• ラベル誤りの多いインスタンスが多数含まれる学習データにおいて、深層ネットワークの一般化性能と精度を向上させること。

提案手法

• 同じミニバッチのデータを用いて、2つの深層ニューラルネットワークを並列に学習する。
• 各ネットワークについて、順伝播の際に損失値が最小のインスタンスを特定・選択する。
• 一方のネットワークが選択した低損失インスタンスを、もう一方のネットワークの学習ターゲットとして使用する。
• 各ネットワークが、相手のネットワークが自身の選択したサンプルに対して出力した予測と損失を用いて、相互に更新することでクロストレーニングを実行する。
• 各ネットワーク内での相対的な損失順序に基づいて、ノイズ遷移行列の推定を回避する。
• 相互知識蒸留を繰り返し適用し、相手モデルのクリーンに見えるサンプルに基づいて両方のネットワークを段階的に改善する。

実験結果

リサーチクエスチョン

• RQ1 ノイズ遷移行列の推定を一切行わずに、極度の高いラベルノイズ下でも頑健な性能を達成できる学習パラダイムは存在するか？
• RQ2 相手ネットワークの低損失サンプルを用いたクロストレーニングは、ノイズのある環境下で一般化性能をどのように向上させるか？
• RQ3 ノイズ行列推定に依存する従来の手法と比較して、Co-samplingアプローチは極度のラベルノイズ下で優れた性能を示すか？
• RQ4 相互サンプリングメカニズムは、学習を安定化させ、ノイズの多いラベルへの感受性を低減できるか？

主な発見

• Co-samplingは、極めて高いラベルノイズ率を示す模擬的なノイズのあるデータセットにおいて、最先端の性能を達成する。
• ノイズ遷移行列推定に依存するベースライン手法と比較して、テスト精度が顕著に向上する。
• ノイズ遷移行列が不明または不正確に推定されていても、このアプローチは頑健である。
• 実験的結果から、複数の模擬的なノイズのあるデータ分布およびネットワークアーキテクチャにおいて、一貫した性能向上が確認された。