[論文レビュー] Jo-SRC: A Contrastive Approach for Combating Noisy Labels

Yazhou Yao, Zeren Sun+5 more|arXiv (Cornell University)|Mar 24, 2021

Machine Learning and Data Classification参考文献 53被引用数 6

ひとこと要約

Jo-SRCは、対照的学習に基づく手法を提案し、深層ニューラルネットワークにおけるノイズの多いラベルに対処する。これは、ジェンセン・シャノン発散を用いたグローバルなクリーンサンプルの共同選択と、二重のビュー間の予測一貫性を用いた分布内（ID）および分布外（OOD）のノイズありサンプルの区別を組み合わせる。一貫性正則化を含む共同損失関数を採用し、CIFAR80N-OでSOTAの精度（65.83％のテスト精度）を達成するとともに、高いノイズ比率下でも優れたサンプル選択の正確性を示す。

ABSTRACT

Due to the memorization effect in Deep Neural Networks (DNNs), training with noisy labels usually results in inferior model performance. Existing state-of-the-art methods primarily adopt a sample selection strategy, which selects small-loss samples for subsequent training. However, prior literature tends to perform sample selection within each mini-batch, neglecting the imbalance of noise ratios in different mini-batches. Moreover, valuable knowledge within high-loss samples is wasted. To this end, we propose a noise-robust approach named Jo-SRC (Joint Sample Selection and Model Regularization based on Consistency). Specifically, we train the network in a contrastive learning manner. Predictions from two different views of each sample are used to estimate its "likelihood" of being clean or out-of-distribution. Furthermore, we propose a joint loss to advance the model generalization performance by introducing consistency regularization. Extensive experiments have validated the superiority of our approach over existing state-of-the-art methods.

研究の動機と目的

• ミニバッチ内でのノイズ比率が変動し、不均衡である状況下でも、ノイズラベルによって引き起こされる性能劣化を是正すること。
• 各ミニバッチごとに一様なノイズ率を仮定する従来の小損失ベースのサンプル選択手法の限界を克服し、高損失サンプルを除外すること。
• 再ラベル化と一貫性正則化を用いて、クリーンサンプルに加え、IDおよびOODのノイズありサンプルも活用することで、モデルの一般化性能を向上させること。
• 対照的予測と発散度量を用いて、クリーン、IDノイズあり、OODノイズありのサンプルを区別する、グローバルに注意を向けるサンプル選択戦略を構築すること。

提案手法

• Jo-SRCは、各入力画像に対して二つの異なるビューを生成し、バックボーンネットワークを介して二重の予測を実行することで、表現学習の向上を図る対照的学習を実現する。
• サンプルがクリーンである可能性を推定するために、予測確率分布と真のラベル分布の間のジェンセン・シャノン（JS）発散を計算する。
• 二重のビュー間の予測の不一致を用いて、サンプルがOODである可能性を評価し、OODノイズありサンプルとIDノイズありサンプルを分離する。
• クリーンサンプルは標準の交差エントロピー損失で訓練されるが、IDおよびOODノイズありサンプルは、バックプロパゲーション前に平均教師モデルを用いて再ラベルされる。
• 交差エントロピーと一貫性正則化の項を組み合わせた共同損失関数を採用することで、モデルの一般化性能とロバスト性を向上させる。
• サンプル選択は各ミニバッチ内ではなく、全データセット全体にわたってグローバルに実行されるため、変動するノイズ比率によるバイアスを低減する。

実験結果

リサーチクエスチョン

• RQ1 ミニバッチ内でのノイズ比率が変動し、不均衡である状況下でも、ミニバッチ単位の選択と比較して、対照的学習フレームワークがクリーンサンプル選択を改善できるか？
• RQ2 JS発散と予測一貫性の使用が、IDおよびOODのノイズありサンプルからクリーンサンプルを区別するのにどの程度有効か？
• RQ3 平均教師モデルを用いたIDおよびOODノイズありサンプルの再ラベル化は、ノイズラベルに過剰適合することなく、モデルの一般化性能を向上させられるか？
• RQ4 クリーンサンプルおよび再ラベル化されたノイズありサンプルに対する選択的訓練と組み合わせた際、一貫性正則化がモデルパフォーマンスに果たす貢献は何か？
• RQ5 特に高いノイズ比率下において、Jo-SRCはクローズドセットおよびオープンセットのノイズラベルシナリオの両方で、SOTA手法を上回る性能を示せるか？

主な発見

• CIFAR80N-Oにおいて20％の対称的ノイズを想定した場合、Jo-SRCは65.83％のテスト精度を達成し、先行するSOTA手法を上回る。
• 最も挑戦的な設定（80％の対称的ノイズ）において、Jo-SRCは訓練過程を通じて着実にクリーンサンプル選択の正確性が向上するが、他の手法は性能が劣化する。
• 全ノイズレベルにおいて、Jo-SRCはクリーンサンプル選択の正確性が最も高く、特に80％ノイズの状況で最高のパフォーマンスを示す。
• 比較手法の中で、Jo-SRCはノイズラベル（IDおよびOODを含む）に対する予測精度が最低であり、ノイズラベルの記憶が抑えられていることを示している。
• アブレーションスタディの結果、クリーンサンプル選択がパフォーマンス向上に最も寄与しており、IDおよびOODサンプルの再ラベル化と一貫性正則化が一般化性能の向上にさらに寄与することが確認された。
• Jo-SRCは、真のラベルに対してIDノイズありサンプルの予測精度が最も高く、効果的な再ラベル化と一般化性能を示している。