[論文レビュー] Selective-Supervised Contrastive Learning with Noisy Labels

Shikun Li, Xiaobo Xia+2 more|arXiv (Cornell University)|Mar 8, 2022

Music and Audio Processing被引用数 23

ひとこと要約

Sel-CL はノイズのあるラベル付きデータから自信のある例と自信のあるペアを選択して、監督付き対比学習を推進し、堅牢な表現を生み出し、ノイズの多い CIFAR と WebVision データセットで強力な性能を達成する。

ABSTRACT

Deep networks have strong capacities of embedding data into latent representations and finishing following tasks. However, the capacities largely come from high-quality annotated labels, which are expensive to collect. Noisy labels are more affordable, but result in corrupted representations, leading to poor generalization performance. To learn robust representations and handle noisy labels, we propose selective-supervised contrastive learning (Sel-CL) in this paper. Specifically, Sel-CL extend supervised contrastive learning (Sup-CL), which is powerful in representation learning, but is degraded when there are noisy labels. Sel-CL tackles the direct cause of the problem of Sup-CL. That is, as Sup-CL works in a \textit{pair-wise} manner, noisy pairs built by noisy labels mislead representation learning. To alleviate the issue, we select confident pairs out of noisy ones for Sup-CL without knowing noise rates. In the selection process, by measuring the agreement between learned representations and given labels, we first identify confident examples that are exploited to build confident pairs. Then, the representation similarity distribution in the built confident pairs is exploited to identify more confident pairs out of noisy pairs. All obtained confident pairs are finally used for Sup-CL to enhance representations. Experiments on multiple noisy datasets demonstrate the robustness of the learned representations by our method, following the state-of-the-art performance. Source codes are available at https://github.com/ShikunLi/Sel-CL

研究の動機と目的

• ラベルがノイズが多く取得コストが高い場合に、堅牢な表現学習を動機づける。
• 監督付き対照学習のペアワイズ性を活用してラベルノイズを軽減する。
• 学習のための自信のある例と自信のあるペアを識別する、動的で閾値フリーな方法を開発する。
• 合成データと実世界のノイズデータセットで方法の有効性を実証し、構成要素の寄与を分析する。

提案手法

• 対照学習の目的に対して自信のあるペアのみを選択的に使用することで、監督付き対照学習（Sup-CL）を拡張する。
• 近傍に基づく擬似ラベルアプローチを用いて、学習済み表現と与えられたノイズ付きラベルとの整合を測定し、自信のある例を特定する。
• 自信のある例から、または表現が十分に類似しているペアから自信のあるペアを作成し、動的でデータ駆動の閾値を用いる。
• 選択的な監督付き対照損失と自信のある例への分類器損失、およびペアワイズ情報を活用する類似度ベースの損失を組み合わせた混合目的関数で最適化する。
• オプションとして、堅牢なファインチューニング戦略を用いた事前学習済みエンコーダを活用するファインチューニング段階（Sel-CL+）を実施する。

実験結果

リサーチクエスチョン

• RQ1 選択的ペアリングは表現学習へのノイズ付きラベルの負の影響を軽減できるか？
• RQ2 ノイズ率を知らずに自信のある例と自信のあるペアをどのように識別できるか？
• RQ3 標準の Sup-CL や他のノイズ付きラベル手法と比較して、動的でエポックごとの自信ペアの選択は堅牢性と一般化を改善するか？
• RQ4 提案された要素（Mixup、MOCO風の拡張、自信のある例への分類損失、類似度損失）は堅牢性と精度に加算的に寄与しますか？

主な発見

• Sel-CL は対称ノイズおよび非対称ノイズ設定の下で CIFAR-10/100 の強力なベースラインを一貫して上回る。
• Sel-CL+ は実世界データセット WebVision-50 で、先行法と比較して競争力のあるまたは最高の結果を達成する。
• 選択的ペアリング戦略はラベルノイズの影響を軽減し、重み付き KNN 評価によって表現品質を向上させる。
• より良い自信のあるペアがより良い表現につながり、それがさらにより多くの自信ペアの発見を可能にする正のサイクルが現れる。
• アブレーション研究により、Mixup、選択機構、および類似度ベースの要素がすべて性能向上に寄与することが確認された。