[論文レビュー] How Does Disagreement Benefit Co-teaching?

Xingrui Yu, Bo Han+4 more|arXiv (Cornell University)|Jan 14, 2019

Machine Learning and Data Classification被引用数 23

ひとこと要約

Co-teaching+ は、2つのネットワークが予測で合意しないサンプルに限って、相手ネットワークの小さな損失を持つサンプルを使用して各ネットワークを更新する、新しい協調学習フレームワークを提案する。このアプローチにより、早期収束を防ぎ、ベンチマークデータセットにおいて最先端の手法を著しく上回る性能を発揮する。

ABSTRACT

Learning with noisy labels is one of the hottest problems in weakly-supervised learning. Based on memorization effects of deep neural networks, training on small-loss instances becomes very promising for handling noisy labels. This fosters the state-of-the-art approach that cross-trains two deep neural networks using the small-loss trick. However, with the increase of epochs, two networks converge to a consensus and Co-teaching reduces to the self-training MentorNet. To tackle this issue, we propose a robust learning paradigm called Co-teaching+, which bridges the Update by Disagreement strategy with the original Co-teaching. First, two networks feed forward and predict all data, but keep prediction disagreement data only. Then, among such disagreement data, each network selects its small-loss data, but back propagates the small-loss data from its peer network and updates its own parameters. Empirical results on benchmark datasets demonstrate that Co-teaching+ is much superior to many state-of-the-art methods in the robustness of trained models.

研究の動機と目的

• Co-teaching の限界、すなわちネットワークが共通の予測に収束し、自己学習に陥ることで耐性が低下するのを是正すること。
• トレーニング中に2つの学生ネットワーク間の多様性を維持することで、ノイズのあるラベル設定下での一般化性能を向上させること。
• クリーンラベルの事前知識に依存せずに、ネットワーク間の不一致を活用して耐性のある学習を誘導するトレーニングパラダイムを構築すること。
• 小さな損失の学習戦略の効果を高めるために、更新を不一致のサンプルに限定することで、ノイズのあるラベルの記憶を回避すること。

提案手法

• フレームワークは、2つの深層ニューラルネットワークを協調学習の形でトレーニングするが、更新は2つのネットワークが予測で合意しないサンプルに限る。
• 不一致のサンプルの中から、各ネットワークは自らの小さな損失を持つ予測をトレーニングのターゲットとして選ぶ。
• 鍵となるのは、各ネットワークが同じ不一致サンプルについて、相手ネットワークの予測の損失を逆伝播させることで、相互に更新を可能にすること。
• この相手損失の逆伝播メカニズムにより、両方のネットワークがどちらかがノイズを含んでも、より信頼性の高い相手の予測から学習できる。
• 共通の予測に対しては更新を行わないため、共通の誤った予測に収束するのを防ぎ、収束を回避する。
• トレーニングプロセスは動的にネットワーク間の不一致を維持し、多様性を保ち、ノイズのあるラベルの記憶を低減する。

実験結果

リサーチクエスチョン

• RQ1 2つのネットワーク間の予測不一致を維持することで、協調学習におけるノイズのあるラベルに対する耐性はどのように向上するか？
• RQ2 相手ネットワークの小さな損失に基づく更新は、標準的な協調学習や自己学習のベースラインを上回る一般化性能を実現できるか？
• RQ3 更新を不一致のサンプルに限定することで、早期収束を防ぎ、モデルの耐性を向上させられるか？
• RQ4 標準ベンチマークで高いノイズ率を扱う際、Co-teaching+ は最先端の手法と比較してどのように性能を発揮するか？

主な発見

• Co-teaching+ は、標準的な Co-teaching や自己学習のベースラインと比較して、ノイズのあるラベルに対して著しく優れた耐性を示す。
• さまざまなノイズ設定下で、ベンチマークデータセットにおいて複数の最先端のアプローチを上回る性能を発揮する。
• 更新を不一致のサンプルに限定することで、時間経過とともに劣化する Co-teaching の共通予測への収束を回避する。
• 相手ネットワークの小さな損失ターゲットを活用することで、両方のネットワークがノイズのあるデータでトレーニングされていようとも、学習効率と一般化性能が向上する。
• 実験的結果から、不一致を駆動要因とする更新メカニズムが、ノイズのあるラベルの記憶を効果的に低減することが確認された。
• 異なるノイズ率やデータセットタイプにおいても、性能の向上を維持でき、強力な一般化能力を示した。