[論文レビュー] Countering Noisy Labels By Learning From Auxiliary Clean Labels

Tsung Wei Tsai, Chongxuan Li+1 more|arXiv (Cornell University)|May 23, 2019

Machine Learning and Data Classification参考文献 59被引用数 6

ひとこと要約

本稿では、自己教師あり回転を補助的なクリーンラベルとして活用し、一貫性正則化と回転予測を統合することで、ノイズラベルに対して耐性のある表現を学習する、包括的なフレームワークRDCRを提案する。RDCRは、特にクリーンラベルの入手が限られる状況下でも、高ノイズ環境下で最先端の手法を著しく上回る性能を発揮する。

ABSTRACT

We consider the learning from noisy labels (NL) problem which emerges in many real-world applications. In addition to the widely-studied synthetic noise in the NL literature, we also consider the pseudo labels in semi-supervised learning (Semi-SL) as a special case of NL. For both types of noise, we argue that the generalization performance of existing methods is highly coupled with the quality of noisy labels. Therefore, we counter the problem from a novel and unified perspective: learning from the auxiliary clean labels. Specifically, we propose the Rotational-Decoupling Consistency Regularization (RDCR) framework that integrates the consistency-based methods with the self-supervised rotation task to learn noise-tolerant representations. The experiments show that RDCR achieves comparable or superior performance than the state-of-the-art methods under small noise, while outperforms the existing methods significantly when there is large noise.

研究の動機と目的

• ノイズラベル下でのディープラーニングの一般化性能の悪化という課題に取り組むこと、特に半教師あり学習および合成ノイズ設定において。
• 既存手法がノイズラベルの品質に依存するのを克服するため、自己教師あり学習を用いて補助的なクリーンラベルを導入すること。
• 単一のフレームワーク内で、合成された対称的／非対称的ノイズと疑似ラベルノイズを統合的に扱うこと。
• 回転予測からの補助教師信号を用いてノイズラベルを分離することで、データクリーニングと表現学習を向上させること。
• 自己教師あり回転が、最小限のクリーンラベルしか存在しない状況下でも、強力な正則化子として機能し、モデルの耐性を高めることを示すこと。

提案手法

• 一貫性ベースの学習と自己教師あり回転予測タスクを統合したマルチタスクフレームワーク「回転分離一貫性正則化（RDCR）」を提案する。
• 拡張された入力の回転度を補助的なクリーンラベルとして用い、モデルの正則化とノイズラベルからの分離を図る。
• 一貫性正則化を統合することで、データ拡張に対する予測の一貫性を促進し、耐性を高める。
• トレーニングの安定性とノイズ耐性をさらに向上させるために、グループ正則化（GN）と重み標準化（WS）を採用する。
• 分類、回転予測、一貫性正則化を同時に最適化するエンドツーエンドのトレーニング方式を採用する。
• すべての入力に対して回転の教師信号を提供するが、真のラベルは少量に限定して利用する。これにより、クリーンラベルが限られる状況下でも効果的な学習が可能になる。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり回転は、ノイズラベルに対する耐性を高めるための信頼できる補助的クリーンラベルとして機能するか？
• RQ2 回転予測と一貫性正則化の統合が、高ノイズ環境下での一般化性能をどのように向上させるか？
• RQ3 提案されたRDCRフレームワークは、合成ノイズおよび半教師あり学習設定の両方で、既存手法を上回る性能を発揮するか？
• RQ4 少量のクリーンラベルの存在が、補助的回転教師信号の恩恵をどの程度強化するか？
• RQ5 すべての入力から得られる補助的教師信号（回転）により、観測されたラベルへの依存度を低下させ、データクリーニングを改善できるか？

主な発見

• RDCRは、ノイズレベルが低い場合でも最先端の手法と同等または優れた性能を発揮し、特にノイズが高い状況下で顕著に優位性を示す。
• CIFAR-10で4000ラベルを使用した場合、RDCRはGN+WSを用いることで、ベースラインの9.05％から7.45％へテスト誤差を低下させ、絶対誤差で2.5％の改善を達成した。
• ラベルの1/4しか使用しない状況でも、ベースラインが4000ラベルを使用した場合の性能を上回る。これは、優れたサンプル効率を示している。
• アブレーションスタディの結果、GN+WSが最大の精度向上（BN比で3.38％の改善）をもたらした。これは、ノイズ耐性におけるその重要性を示している。
• RDCRは、さまざまな正則化層において一貫して性能を向上させ、特にGN+WSの組み合わせで最大の向上が観察された。
• 高ノイズ環境下でも誤差率を顕著に低減し、CIFAR-100で4000ラベルを使用した場合、誤差率を33.62％から30.62％へ低下させた。これは、強い耐性を示している。