[論文レビュー] UNICON: Combating Label Noise Through Uniform Selection and Contrastive Learning

Nazmul Karim, Mamshad Nayeem Rizve+3 more|arXiv (Cornell University)|Mar 28, 2022

Machine Learning and Data Classification被引用数 15

ひとこと要約

UNICONは、高いラベルノイズ下で容易なクラスに偏るバイアスを軽減するため、Jensen-Shannon発散を用いた均一選択を強制する画期的なサンプル選択手法を提案する。ノイズの多いラベルの記憶を抑えるためにコントラスト学習を組み合わせることで、CIFAR100で90%のノイズ率を示す状況下でSOTAより11.4%の精度向上を達成し、極度のノイズ環境下でも頑健で一般化性の高い性能を示した。

ABSTRACT

Supervised deep learning methods require a large repository of annotated data; hence, label noise is inevitable. Training with such noisy data negatively impacts the generalization performance of deep neural networks. To combat label noise, recent state-of-the-art methods employ some sort of sample selection mechanism to select a possibly clean subset of data. Next, an off-the-shelf semi-supervised learning method is used for training where rejected samples are treated as unlabeled data. Our comprehensive analysis shows that current selection methods disproportionately select samples from easy (fast learnable) classes while rejecting those from relatively harder ones. This creates class imbalance in the selected clean set and in turn, deteriorates performance under high label noise. In this work, we propose UNICON, a simple yet effective sample selection method which is robust to high label noise. To address the disproportionate selection of easy and hard samples, we introduce a Jensen-Shannon divergence based uniform selection mechanism which does not require any probabilistic modeling and hyperparameter tuning. We complement our selection method with contrastive learning to further combat the memorization of noisy labels. Extensive experimentation on multiple benchmark datasets demonstrates the effectiveness of UNICON; we obtain an 11.4% improvement over the current state-of-the-art on CIFAR100 dataset with a 90% noise rate. Our code is publicly available

研究の動機と目的

• 高いラベルノイズ下で、現在の手法が学習しやすいクラスに偏るため生じるクリーンサンプル選択におけるクラスの不均衡を是正すること。
• 選択されたクリーンセットにおけるクラスバランスを強制することで、半教師付き学習における偽ラベルの品質を向上させること。
• ラベルが不要なため、ノイズの多いラベルの記憶を抑えるためにコントラスト学習を用いて、頑健な表現を学習すること。
• 確率的モデリングに依存しない、シンプルでスケーラブルかつハイパーパrameterフリーの選択メカニズムを構築すること。

提案手法

• UNICONは、Jensen-Shannon発散に基づく均一選択メカニズムを用い、選択されたクリーンセットにおける各クラスの均等な表現を保証し、容易なクラスに偏るバイアスを回避する。
• 本手法は、同一の2つのネットワークを並列に訓練することで、繰り返しサンプル分離を実行し、平均予測を用いてクリーンサンプルを同定する。
• クリーンサンプルは、すべてのクラスに均等に分布するようにクラスバランス戦略により選択され、選択の公平性と偽ラベルの品質が向上する。
• コントラスト学習をクリーンセットに適用することで、ノイズに強い不変な特徴表現を学習し、誤ったラベルの記憶リスクを低減する。
• 収束するまで、均一選択とコントラスト損失を用いた半教師付き学習を交互に繰り返すことで、一般化性能が向上する。
• 本手法は、ハイパーパrameterチューニングや確率的モデリングを回避し、発散に基づく均一性とアンサンブル平均化に依存することで、頑健性を確保する。

実験結果

リサーチクエスチョン

• RQ1 選択されたクリーンセットにおけるクラスバランスの強制が、高いラベルノイズ下での性能向上に寄与するか？
• RQ2 Jensen-Shannon発散に基づく均一選択が、小損失に基づく選択と比較して、選択精度と公平性の面で優れているか？
• RQ3 コントラスト学習が半教師付き学習におけるラベルノイズの記憶をどの程度低減できるか？
• RQ4 90%以上の極度のノイズレベル下で、UNICONは最先端手法と比較してどの程度優れているか？
• RQ5 本手法は、データセット固有のチューニングなしに、変動するノイズ率やデータセットの分布に対して頑健であるか？

主な発見

• UNICONは、CIFAR100で90%のラベルノイズ率下で、現在のSOTA手法DMixより11.4%の精度向上を達成し、極度のノイズ下でも優れた性能を示した。
• 90%のノイズ率下で、UNICONはCIFAR10でトップ1精度90.81%を達成したのに対し、DMixは76.08%にとどまり、顕著な性能向上が確認された。
• 本手法は、あらゆるノイズレベルで高い選択精度を維持し、98%のノイズ率下でもAUCスコアが着実に上昇した。これは、クリーンサンプルの信頼性の高い同定を示している。
• コントラスト学習を除去すると、CIFAR10で3.53%、CIFAR100で2.99%のテスト精度低下が生じ、本手法が記憶を低減する上で不可欠であることが裏付けられた。
• クラスバランスの選択戦略は性能向上に顕著な寄与を示しており、バランスのない選択を採用した場合、精度が著しく低下した。これは、選択バイアスを防ぐ上で重要であることを確認した。
• ImageNet-1Kでは、DMixと比較してTop-5精度で1.88%の向上を達成し、CIFARベンチマークを超える強力な一般化性能を示した。