[論文レビュー] Robust Long-Tailed Learning under Label Noise

Tong Wei, Jiang-Xin Shi+2 more|arXiv (Cornell University)|Aug 26, 2021

Machine Learning and Data Classification参考文献 41被引用数 24

ひとこと要約

本論文は RoLT を導入する。長尾分布とラベルノイズの下で学習するための頑健なフレームワークで、プロトタイプノイズ検出器とソフト疑似ラベリングを用い、特に尾クラスの汎化を改善する。

ABSTRACT

Long-tailed learning has attracted much attention recently, with the goal of improving generalisation for tail classes. Most existing works use supervised learning without considering the prevailing noise in the training dataset. To move long-tailed learning towards more realistic scenarios, this work investigates the label noise problem under long-tailed label distribution. We first observe the negative impact of noisy labels on the performance of existing methods, revealing the intrinsic challenges of this problem. As the most commonly used approach to cope with noisy labels in previous literature, we then find that the small-loss trick fails under long-tailed label distribution. The reason is that deep neural networks cannot distinguish correctly-labeled and mislabeled examples on tail classes. To overcome this limitation, we establish a new prototypical noise detection method by designing a distance-based metric that is resistant to label noise. Based on the above findings, we propose a robust framework,~\algo, that realizes noise detection for long-tailed learning, followed by soft pseudo-labeling via both label smoothing and diverse label guessing. Moreover, our framework can naturally leverage semi-supervised learning algorithms to further improve the generalisation. Extensive experiments on benchmark and real-world datasets demonstrate the superiority of our methods over existing baselines. In particular, our method outperforms DivideMix by 3\% in test accuracy. Source code will be released soon.

研究の動機と目的

• 現実的なデータ条件を反映するため、ラベルノイズが存在する状況で長尾分布の学習を動機づける。
• 長尾分布下で小損失ベースのノイズ検出が機能しないことを示し、幾何学に基づく代替手法を提案する。
• RoLT を開発し、プロトタイプ距離検出器を用いてノイズのあるサンプルを検出し、ソフト疑似ラベル付けを行う。
• クリーンなサブセットとノイズのあるサブセットを用いて、半教師あり学習のアイデアを活用して汎化性能をさらに向上させる。
• ベンチマークおよび実世界データセット上で、ベースラインに対する頑健性と優位性を示す。

提案手法

• 埋め込みの正規化された平均としてクラスごとのプロトタイプを計算し、クラスの幾何を捉える。
• クラスに依存しない方法で、クリーンとノイズデータを分離するために、プロトタイプまでの距離を2成分ガウス混合モデルでモデル化する。
• 検出されたクリーンな例のサブセットを用いてプロトタイプを改良し、ノイズ検出を改善する。
• ER MとNCM分類器および元のラベルの予測を組み合わせ、ラベルスムージングと時系列アンサンブリングを用いてノイズサンプルに対してソフト疑似ラベルを生成する。
• クリーンデータとソフトにラベル付けされたノイズデータの組み合わせ損失で学習し、RoLT 内で半教師あり学習スタイルの学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 クラスに依存しないプロトタイプ距離検出器は、長尾クラス分布の下でクリーンなデータとノイズデータを頑健に分離できるか？
• RQ2 ERM、NCM予測、およびラベルスムージングを組み合わせたソフト疑似ラベリングは、尾部のノイズデータを伴う学習を改善するか？
• RQ3 標準的な長尾手法および既存のノイズラベル手法と比べて、ベンチマークおよび実世界のノイズデータセット上で RoLT はどの程度性能を発揮するか？
• RQ4 RoLT は半教師あり学習技術を用いてさらに汎化を高めるよう拡張できるか？

主な発見

• RoLT は CIFAR-10/100 の様々な不均衡比とノイズレベルの下で、ERM および複数の長尾ベースラインを大きく上回る。
• RoLT–DRW および RoLT+ はノイズが増加するにつれてより大きな改善を達成し、効果的なノイズ検出と頑健な学習を示している。
• NCM ベースの予測は ERM より尾部クラスの再現率がよりバランスされており、提案されたプロトタイプノイズ検出戦略を裏付ける。
• ソフトラベリングはラベルスムージングと多様なラベル推測による効果で、ノイズ付きラベルや ERM 予測だけを用いる場合より性能を向上させる。
• OnWebVision では RoLT+ が、最先端のノイズ付きラベルおよび長尾手法と比較して競争力のある top-1/top-5 精度を達成する。