[論文レビュー] Learning From Long-Tailed Data With Noisy Labels

Shyamgopal Karthik, Jérôme Revaud+1 more|arXiv (Cornell University)|Aug 25, 2021

Machine Learning and Data Classification参考文献 48被引用数 15

ひとこと要約

本論文は、まず自己教師あり事前学習を用いて長尾分布でノイズが混入したデータから頑健な表現を学習し、その後、ロジット補正とSuperLossを組み合わせたファインチューニングにより、クラスの不均衡とラベルノイズの両方に対処する二段階手法を提案する。この手法は、合成的なノイズと不均衡を含むCIFAR-10/100および現実世界のClothing-1Mデータセットにおいて、既存手法を上回る最先端の性能を達成し、深刻なデータ課題に強い。

ABSTRACT

Class imbalance and noisy labels are the norm rather than the exception in many large-scale classification datasets. Nevertheless, most works in machine learning typically assume balanced and clean data. There have been some recent attempts to tackle, on one side, the problem of learning from noisy labels and, on the other side, learning from long-tailed data. Each group of methods make simplifying assumptions about the other. Due to this separation, the proposed solutions often underperform when both assumptions are violated. In this work, we present a simple two-stage approach based on recent advances in self-supervised learning to treat both challenges simultaneously. It consists of, first, task-agnostic self-supervised pre-training, followed by task-specific fine-tuning using an appropriate loss. Most significantly, we find that self-supervised learning approaches are effectively able to cope with severe class imbalance. In addition, the resulting learned representations are also remarkably robust to label noise, when fine-tuned with an imbalance- and noise-resistant loss function. We validate our claims with experiments on CIFAR-10 and CIFAR-100 augmented with synthetic imbalance and noise, as well as the large-scale inherently noisy Clothing-1M dataset.

研究の動機と目的

• 現実世界のデータセットにおいて頻発する長尾クラス分布とラベルノイズの二重の課題に同時に対処すること。これまでの研究ではこれらが別々に扱われることが多かった。
• 自己教師あり表現学習が、明示的なリウェートやサンプリング戦略を用いなくても、深刻なクラス不均衡を内在的に処理できるかどうかを検証すること。
• ラベルノイズと長尾データの両方に耐性を持つ統一されたトレーニングパイプラインを構築し、清浄なラベルやバランスの取れたデータを仮定する既存手法の限界を克服すること。
• 自己教師あり事前学習の後に、ファインチューニング段階でロジット補正（長尾学習用）とSuperLoss（ノイズラベル用）を組み合わせることで、両者の効果的統合が可能かどうかを検証すること。

提案手法

• 本手法は二段階のトレーニングパイプラインを採用する。まず、ラベルを一切使用しない対照的学習フレームワーク（例：SimCLR, Barlow Twins, BYOL, SimSiam）を用いた自己教師あり事前学習を行う。
• 事前学習段階では、同一画像の増強版同士を対比することで、不変な表現を学習する。このアプローチは、強いクラス不均衡下でも効果的であることが示された。
• 二段階目では、事前学習済みモデルを、長尾学習に適したロジット補正損失と、ノイズラベルの記憶を低減するためのSuperLossの組み合わせを用いてファインチューニングする。
• ファインチューニング段階では、元のノイズ混入済みで長尾分布の学習ラベルをそのまま使用し、データの不均衡とラベルノイズに対処するように設計された損失関数を適用する。
• 最近の半教師あり学習の知見を活用し、教師ありファインチューニングの前段階として自己教師あり事前学習により汎化性能と頑健性を向上させる。
• 本手法は、複数のベンチマークで評価されている：合成的な不均衡とノイズを含むCIFAR-10およびCIFAR-100、および固有のノイズと長尾分布を有する現実世界のClothing-1Mデータセット。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり表現学習は、明示的なデータバランス化を施さなくても、長尾分布のデータに対して効果的に機能するか？
• RQ2 ロジット補正とSuperLossの組み合わせが、ラベルノイズとクラス不均衡の両方の下でどのように頑健性を向上させるか？
• RQ3 自己教師あり事前学習 followed by 頑健なファインチューニングという二段階アプローチが、ノイズと不均衡が共存する状況で、既存の最先端手法を上回る性能を発揮するか？
• RQ4 異なる自己教師あり手法（例：SimCLR, BYOL, SimSiam）が、深刻なデータ不均衡とラベルノイズ下でもどれほど一般化できるか？

主な発見

• 自己教師あり事前学習はクラス不均衡に対して非常に頑健である。テストされた全手法（SimCLR, Barlow Twins, BYOL, SimSiam）が、極端な不均衡比下でも同等の性能を達成した。
• 合成的なノイズと不均衡を含むCIFAR-10およびCIFAR-100において、提案手法は最先端のベースラインを顕著に上回り、特に高ノイズレベルと深刻なクラス不均衡下で顕著な優位性を示した。
• 現実世界のClothing-1Mデータセット（約38.5%のノイズラベル、クラス不均衡比約5）においても、本手法は最先端の精度を達成し、現実的な設定下での優れた一般化性能を示した。
• ファインチューニング段階でロジット補正とSuperLossを組み合わせることで、支配的クラスへのバイアスが低減され、ノイズラベルの記憶が防止され、特にレアクラスの性能向上が達成された。
• 清浄なデータやバランスの取れたデータを前提とした既存手法は、ノイズと不均衡が共存する状況では著しく性能を低下させることが判明し、両者の併存に対する統合的対処の重要性が浮き彫りになった。