[論文レビュー] On Learning Contrastive Representations for Learning with Noisy Labels

Yi Li, Sheng Liu+3 more|arXiv (Cornell University)|Mar 3, 2022

Machine Learning and Data Classification被引用数 5

ひとこと要約

本稿では、誤りのあるラベルに関連する情報を排除することで、ノイズのあるラベルを記憶してしまうのを防ぎ、堅牢な表現を学習する新しいコントラスト型正則化手法である対照的表現正則化（CTRR）を提案する。理論的には、CTRRは真のラベル情報が保持され、ラベルノイズに対して本質的に頑健な表現を保証する。CIFAR-10で最大80%のラベルノイズがある状況でも、標準的な交差エントロピー学習や既存のノイズ耐性のある手法を上回る性能を発揮する。

ABSTRACT

Deep neural networks are able to memorize noisy labels easily with a softmax cross-entropy (CE) loss. Previous studies attempted to address this issue focus on incorporating a noise-robust loss function to the CE loss. However, the memorization issue is alleviated but still remains due to the non-robust CE loss. To address this issue, we focus on learning robust contrastive representations of data on which the classifier is hard to memorize the label noise under the CE loss. We propose a novel contrastive regularization function to learn such representations over noisy data where label noise does not dominate the representation learning. By theoretically investigating the representations induced by the proposed regularization function, we reveal that the learned representations keep information related to true labels and discard information related to corrupted labels. Moreover, our theoretical results also indicate that the learned representations are robust to the label noise. The effectiveness of this method is demonstrated with experiments on benchmark datasets.

研究の動機と目的

• 交差エントロピー損失で学習する深層ニューラルネットワークにおける、ノイズのあるラベルの恒常的記憶を解消すること。
• 非頑健な交差エントロピーに依存するため、依然として記憶問題を抱える既存のノイズ耐性損失関数の限界を克服すること。
• 真のラベル構造に注目することで、本質的にラベルノイズに頑健な表現学習法を開発すること。
• コントラスト表現が学習中に損傷を受けるラベルの影響を抑えることができることを理論的・実験的に示すこと。
• 既存のラベル補正法やノイズ耐性損失関数との互換性を確保し、性能をさらに向上させること。

提案手法

• 正例ペアを定義する際にノイズのあるラベルに依存しない、新しいコントラスト型正則化関数を提案する。
• モーメンタムベースの予測ヘッドを用いて、視覚的増幅間の表現の一貫性を促進し、SimSiamと同様のアプローチを採用する。
• 腐敗したラベルに関連する特徴を明示的に抑制しながら、真のラベルに関連する情報を保持するように正則化を設計する。
• 理論的分析により、誘導される表現がノイズのあるラベルに関する十分な情報を欠いているため、頑健であることが示される。
• 勾配解析により、高ノイズレベル下でも正しいコントラストペアが学習プロセスを支配することが確認される。
• フレームワークに依存しないため、SimSiam や SupCon を含むさまざまなコントラスト学習アーキテクチャに統合可能である。

実験結果

リサーチクエスチョン

• RQ1 正例ペアを定義する際にノイズのあるラベルに依存しないようにすることで、コントラスト表現学習をラベルノイズに対して頑健にできるか？
• RQ2 提案された正則化関数は、学習された表現において真のラベル情報を保持すると同時に、損傷を受けるラベル情報を排除できるか？
• RQ3 得られた表現は、分類器がノイズのあるラベルを記憶するのを本質的に防げるか？
• RQ4 さまざまなレベルのラベルノイズ下で、CTRRは標準的な交差エントロピーと他のノイズ耐性損失関数と比較してどの程度の性能を示すか？
• RQ5 CTRRは、既存のラベル補正法やノイズ耐性損失技術とどの程度組み合わせて、さらに精度を向上させられるか？

主な発見

• 80%のラベルノイズがあるCIFAR-10では、CTRRがラベル補正と組み合わせた場合85.40%の精度を達成し、それなしのベースライン83.66%を上回る。
• 60%のラベルノイズでは、CTRRがラベル補正と組み合わせた場合89.23%の精度を達成し、ベースライン手法の87.34%を上回る。
• 20%および40%のノイズがあるCIFAR-10では、CTRRはGCE や CTRR+GCE といった既存手法を上回る最先端の性能を発揮する。
• 理論的分析により、CTRRが誘導する表現は真のラベルに関する情報を含むが、腐敗したラベルに関する十分な情報を欠いていることが確認され、頑健性が裏付けられる。
• 実験的結果により、CTRRはGCE や CTRR+GCE といった既存のラベル補正およびノイズ耐性損失関数と効果的に組み合わせられ、性能をさらに向上させられることが示された。
• 勾配解析により、正しいコントラストペアが学習プロセスを支配しており、誤ったペアが表現学習を支配することを防いでいることが明らかになった。