[論文レビュー] Rethinking Re-Sampling in Imbalanced Semi-Supervised Learning

Ju He, Adam Kortylewski+5 more|arXiv (Cornell University)|Jun 1, 2021

Domain Adaptation and Few-Shot Learning参考文献 33被引用数 15

ひとこと要約

本稿では、クラス不均衡な半教師あり学習における特徴抽出器と分類器の学習を分離する、二段階のリサンプリング戦略であるBi-Sampling（BiS）を提案する。BiSは、表現学習を維持するためのアンバランスサンプリングから、分類器の一般化を向上させるためのバランスサンプリングへ段階的に移行する。CIFAR-10およびCIFAR-100で最先端の性能を達成し、ベースライン比で最大7.5%の向上を実現した。

ABSTRACT

Semi-Supervised Learning (SSL) has shown its strong ability in utilizing unlabeled data when labeled data is scarce. However, most SSL algorithms work under the assumption that the class distributions are balanced in both training and test sets. In this work, we consider the problem of SSL on class-imbalanced data, which better reflects real-world situations. In particular, we decouple the training of the representation and the classifier, and systematically investigate the effects of different data re-sampling techniques when training the whole network including a classifier as well as fine-tuning the feature extractor only. We find that data re-sampling is of critical importance to learn a good classifier as it increases the accuracy of the pseudo-labels, in particular for the minority classes in the unlabeled data. Interestingly, we find that accurate pseudo-labels do not help when training the feature extractor, rather contrariwise, data re-sampling harms the training of the feature extractor. This finding is against the general intuition that wrong pseudo-labels always harm the model performance in SSL. Based on these findings, we suggest to re-think the current paradigm of having a single data re-sampling strategy and develop a simple yet highly effective Bi-Sampling (BiS) strategy for SSL on class-imbalanced data. BiS implements two different re-sampling strategies for training the feature extractor and the classifier and integrates this decoupled training into an end-to-end framework. In particular, BiS progressively changes the data distribution during training such that in the beginning the feature extractor is trained effectively, while towards the end of the training the data is re-balanced such that the classifier is trained reliably. We benchmark our proposed bi-sampling strategy extensively on popular datasets and achieve state-of-the-art performances.

研究の動機と目的

• クラス不均衡な半教師あり学習におけるリサンプリングの特徴抽出器と分類器の学習への影響を調査すること。
• 訓練全体を通して単一のリサンプリング戦略を用いる従来のパラダイムに挑戦すること。
• 異なるリサンプリング戦略を用いて、表現学習と分類器のキャリブレーションを別々に最適化する手法を開発すること。
• CIFAR-10やCIFAR-100のような不均衡な半教師あり学習ベンチマークで最先端の性能を達成すること。

提案手法

• BiSは、特徴抽出器用にランダムサンプラー、分類器用に平均サンプラーという二つの異なるリサンプリング戦略を採用する。
• 訓練中に、サンプリング重みαの減衰スケジュールを用いて、ランダムサンプラーから平均サンプラーへ段階的に移行する。
• サンプリング重みαは、訓練ステップに応じて放物線関数に従って減少し、初期段階ではアンバランスデータを優先し、後期段階ではバランスデータを優先する。
• 分類器は、特徴抽出器と分類器の共同学習後にリサンプリングを用いてファインチューニングされ、学習プロセスが分離される。
• 未ラベルデータのリサンプリング強度を制御する保持確率qは、アブレーション実験で中間値で最良の性能を示した。
• フレームワークはエンドツーエンドに統合されており、mixupなどの追加訓練技術は不要である。

実験結果

リサーチクエスチョン

• RQ1 リサンプリングは、クラス不均衡な半教師あり学習における特徴抽出器と分類器の学習にどのように影響を与えるか？
• RQ2 疑似ラベルがヘッドクラスに偏っている場合、リサンプリングは表現学習に悪影響を及ぼすか？
• RQ3 長尾型SSLにおいて、表現学習と分類器キャリブレーションの両方を効果的にバランスさせるために、単一のリサンプリング戦略は有効か？
• RQ4 訓練中に異なるリサンプリング戦略への移行に最適なスケジュールは何か？
• RQ5 特徴抽出器と分類器に別々のリサンプリングを適用する分離型トレーニング戦略は、統合的リサンプリングを上回る性能を発揮できるか？

主な発見

• 疑似ラベルがヘッドクラスに偏っていても、リサンプリングは特徴抽出器の学習を損なうが、これは表現学習がアンバランスデータから利益を受けることを示唆している。
• 分類器の性能は、特に少数クラスにおいてリサンプリングにより顕著に向上し、疑似ラベルが不正確であっても同様に有効である。
• CIFAR-10では、β=2およびλ=100の条件下で、FixMatchベースライン比で7.5%の絶対的向上を達成した。
• CIFAR-100では、FixMatch比で4%の絶対的向上、CReST+比で1%の向上を達成した。
• αの放物線的減衰スケジュールは、線形、コサイン、等価減衰よりも約8%の性能向上を示した。
• アブレーションスタディでは、保持確率qの極端な値（0または1）は性能を劣化させ、最適な値は中間範囲にあった。