[論文レビュー] An Embarrassingly Simple Baseline for Imbalanced Semi-Supervised Learning

Hao Chen, Yue Fan+6 more|arXiv (Cornell University)|Nov 20, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、最も頻度の高いクラスからの頻度差に基づいて、疑似ラベルを用いてラベル付きデータを拡張することで、クラス不均衡を軽減する、シンプルでありながら非常に効果的な不均衡半教師あり学習のベースラインであるSimiSを提案する。最先端の性能を達成し、CIFAR100-LT、FOOD101-LT、ImageNet127において、それぞれ12.8%、13.6%、16.7%の性能向上を達成しており、収束が早く、疑似ラベルの精度も向上している。

ABSTRACT

Semi-supervised learning (SSL) has shown great promise in leveraging unlabeled data to improve model performance. While standard SSL assumes uniform data distribution, we consider a more realistic and challenging setting called imbalanced SSL, where imbalanced class distributions occur in both labeled and unlabeled data. Although there are existing endeavors to tackle this challenge, their performance degenerates when facing severe imbalance since they can not reduce the class imbalance sufficiently and effectively. In this paper, we study a simple yet overlooked baseline -- SimiS -- which tackles data imbalance by simply supplementing labeled data with pseudo-labels, according to the difference in class distribution from the most frequent class. Such a simple baseline turns out to be highly effective in reducing class imbalance. It outperforms existing methods by a significant margin, e.g., 12.8%, 13.6%, and 16.7% over previous SOTA on CIFAR100-LT, FOOD101-LT, and ImageNet127 respectively. The reduced imbalance results in faster convergence and better pseudo-label accuracy of SimiS. The simplicity of our method also makes it possible to be combined with other re-balancing techniques to improve the performance further. Moreover, our method shows great robustness to a wide range of data distributions, which holds enormous potential in practice. Code will be publicly available.

研究の動機と目的

• ラベル付きデータとラベルなしデータの両方が偏ったクラス分布を示す半教師あり学習における深刻なクラス不均衡の課題に対処すること。
• 複雑な再重み付けやアーキテクチャの変更なしに不均衡を緩和できる、シンプルでありながら非常に効果的なベースライン手法を提案すること。
• クラス頻度の差に基づいてラベル付きデータに疑似ラベルを追加する、単純なアプローチが、既存の最先端手法を顕著に上回ることを示すこと。
• 本手法が多様なデータ分布に対して頑健であり、他の再平衡化技術と併用可能であることを示すこと。

提案手法

• SimiSは、最も頻度の高いクラスからの相対的頻度差に基づいて、疑似ラベルを生成・統合することで、クラス不均衡を低減する。
• この手法は単純なヒューリスティックを用いる：各クラスについて、追加する疑似ラベルの数は、最も頻度の高いクラスに対するその頻度の逆数に比例する。
• 拡張されたラベル付きデータセットを用いて標準的なSSL訓練を実行し、ベースラインSSL手法と同一の訓練パイプラインを維持する。
• 追加のハイパーパrameterや複雑な損失再重み付けを必要とせず、クラス頻度統計のみに依存する。
• SSLにおける疑似ラベル付けの本質的な一貫性を活用して、ラベル品質とモデルの汎化性能を向上させる。
• 既存のSSLフレームワークと互換性があり、他の再平衡化技術と組み合わせてさらなる性能向上が可能である。

実験結果

リサーチクエスチョン

• RQ1 疑似ラベル付けに、学習しない単純なヒューリスティックを用いることで、半教師あり学習におけるクラス不均衡を顕著に軽減できるか？
• RQ2 深刻なクラス不均衡下で、SimiSは最先端手法と比較して性能と収束速度の面でどのように差をつけるか？
• RQ3 SimiSは、さまざまなデータ分布や不均衡度においてどれほど頑健であるか？
• RQ4 SimiSは他の再平衡化技術と効果的に組み合わせて、さらなる性能向上を達成できるか？

主な発見

• CIFAR100-LTでは前人最高の手法を12.8%、FOOD101-LTでは13.6%、ImageNet127では16.7%上回る性能を達成した。
• 訓練データ内のクラス不均衡が軽減されたことで、収束が著しく速くなった。
• バランスの取れたデータ分布のおかげで、トレーニング中に予測がより信頼性が高くなり、疑似ラベルの精度が顕著に向上した。
• SimiSは広範なデータ不均衡度と分布に対して強い頑健性を示した。
• 手法のシンプルさのおかげで、他の再平衡化技術とのシームレスな統合が可能であり、さらなる性能向上が可能である。
• 複雑な損失関数や再重み付け、アーキテクチャの変更なしに、優れた性能を達成した。