[論文レビュー] Combining Self-Supervised and Supervised Learning with Noisy Labels

Zhang, Yongqi, Hui Zhang+2 more|arXiv (Cornell University)|Nov 16, 2020

Machine Learning and Data Classification参考文献 48被引用数 7

ひとこと要約

本論文では、自己教師あり対照的事前学習（BYOLを用いて）による表現学習と、ノイズのあるラベルを用いた分類器学習を分離することで、表現学習を分離する新しい手法CS³NLを提案する。分類器の内在的ロバストネスを活用し、バックボーンと分類器の間で勾配を停止させ、自己教師あり表現学習（SSRL）とノイズのある教師あり学習を組み合わせることで、特に高いノイズ（CIFAR-10では80%の誤り率削減）条件下でも最先端の精度を達成し、既存手法を顕著に上回る。

ABSTRACT

Since convolutional neural networks (CNNs) can easily overfit noisy labels, which are ubiquitous in visual classification tasks, it has been a great challenge to train CNNs against them robustly. Various methods have been proposed for this challenge. However, none of them pay attention to the difference between representation and classifier learning of CNNs. Thus, inspired by the observation that classifier is more robust to noisy labels while representation is much more fragile, and by the recent advances of self-supervised representation learning (SSRL) technologies, we design a new method, i.e., CS$^3$NL, to obtain representation by SSRL without labels and train the classifier directly with noisy labels. Extensive experiments are performed on both synthetic and real benchmark datasets. Results demonstrate that the proposed method can beat the state-of-the-art ones by a large margin, especially under a high noisy level.

研究の動機と目的

• ノイズのあるラベルを含むデータセット上で深層畳み込みニューラルネットワーク（CNN）をロバストに学習する課題に対処すること。これは一般的に過学習や一般化性能の低下を引き起こす。
• ラベルノイズ下での表現学習と分類器学習のロバストネスの差異を調査すること。
• 単純な分類器の内在的ロバストネスを活用して、表現学習と分類器学習を分離することで、モデルの一般化性能を向上させること。
• 最先端の自己教師あり表現学習（BYOL）をノイズのあるラベルでの教師あり学習と統合し、性能を向上させること。
• ロバストな表現とノイズに強い分類器を組み合わせることで、特に高ノイズレベル下で優れた結果が得られることを示すこと。

提案手法

• CNNをバックボーン（fθ）と分類器（cw）に分離し、それぞれ別々に学習させることで、分類器のノイズラベルに対するロバストネスを活用する。
• 自己教師あり表現学習は、データオーグメンテーションとモーメンタム更新されたターゲットネットワークを用いるBYOLフレームワークにより、対照的表現を学習する。
• バックボーンと分類器の間でストップ勾配（sg）操作を適用し、教師あり学習中は分類器のみが更新されるようにすることで、表現学習と分類器学習を分離する。
• ラベルクリーニングモジュールψを導入し、クリーンなサンプルを特定・優先することで、教師あり損失の信頼性を向上させる。
• 総損失は、自己教師ありBYOL対照的損失と、クリーニング済みラベルにおける教師ありクロスエントロピー損失を組み合わせることで、ロバストな表現と正確な分類の共同最適化を可能にする。
• トレーニングの安定化を図るため、オンラインネットワークからターゲットネットワークのパラメータをゆっくりとモーメンタム更新（τ）する。

実験結果

リサーチクエスチョン

• RQ1 ラベルノイズ下での表現学習のロバストネスと分類器学習のロバストネスは、どのように比較されるか？
• RQ2 表現学習と分類器学習の分離は、ノイズのあるラベルが存在する状況での一般化性能を向上させ得るか？
• RQ3 自己教師あり表現学習とノイズのあるラベルにおける教師あり学習を組み合わせることで、エンドツーエンド学習よりも優れた性能が得られるか？
• RQ4 ストップ勾配およびラベルクリーニングの各コンponentがモデルのロバストネスに与える影響は何か？
• RQ5 本手法は、SOTA手法と比較して、高レベルのラベルノイズ下でどのように性能を発揮するか？

主な発見

• CIFAR-10で対称的ラベルノイズが80%の条件下で、CS³NLはテスト精度88.1%を達成し、標準的なエンドツーエンド学習ベースラインを25.2ポイント上回った。
• 40%のノイズ条件下では、CS³NLは94.6%の精度を達成し、アブレーションバージョンのあらゆる設定で、次に優れた手法を1.0～3.2ポイント上回った。
• アブレーションスタディにより、ストップ勾配操作が最も重要な要因であることが確認された。この操作を削除すると、80%ノイズ条件下で精度が7.4ポイント低下した。
• 自己教師あり損失（BYOL）を削除すると、0%ノイズ条件下で精度が2.6ポイント低下し、クリーンデータ環境下でもその価値が示された。
• ラベルクリーニングモジュールψを導入することで、80%ノイズ条件下で1.9ポイントの精度向上が得られ、クリーンなサンプルを特定することがロバストネス向上に寄与することが示された。
• 本手法は、合成ノイズデータ（CIFAR-10）および実世界のノイズデータ（CIFAR-100, ImageNet）の両方で強力な性能を維持しており、広範な適用可能性を示している。