[論文レビュー] Imbalanced Semi-supervised Learning with Bias Adaptive Classifier

Renzhen Wang, Xixi Jia+3 more|arXiv (Cornell University)|Jul 28, 2022

Imbalanced Data Classification Techniques被引用数 4

ひとこと要約

本稿では、バイアス適応型分類器を提案する。この手法は、バイレベル最適化フレームワークを用いて、バイアスの吸収とバイアスのないラベル予測を分離する。軽量な残差ベースのバイアスアトラクターと線形分類器を統合することで、少数クラスにおける性能低下を軽減する。FixMatchと比較して、最も不均衡なクラスで最大60%高い再現率を達成する。

ABSTRACT

Pseudo-labeling has proven to be a promising semi-supervised learning (SSL) paradigm. Existing pseudo-labeling methods commonly assume that the class distributions of training data are balanced. However, such an assumption is far from realistic scenarios and thus severely limits the performance of current pseudo-labeling methods under the context of class-imbalance. To alleviate this problem, we design a bias adaptive classifier that targets the imbalanced SSL setups. The core idea is to automatically assimilate the training bias caused by class imbalance via the bias adaptive classifier, which is composed of a novel bias attractor and the original linear classifier. The bias attractor is designed as a light-weight residual network and optimized through a bi-level learning framework. Such a learning strategy enables the bias adaptive classifier to fit imbalanced training data, while the linear classifier can provide unbiased label prediction for each class. We conduct extensive experiments under various imbalanced semi-supervised setups, and the results demonstrate that our method can be applied to different pseudo-labeling models and is superior to current state-of-the-art methods.

研究の動機と目的

• クラス分布が不均衡な状況下で、擬似ラベル手法の性能劣化を解消すること。
• 訓練中にクラス不均衡を悪化させるバイアスのかかった擬似ラベルの問題を克服すること。
• 表現学習を維持しつつ、線形分類器が訓練バイアスから保護される、モデルに依存しないフレームワークを開発すること。
• 新しいバイレベル最適化戦略により、不均衡な設定でも未ラベルデータを効果的に活用できる、バイアスのない分類器を学習すること。

提案手法

• バイアスのない予測を担う線形分類器と、訓練バイアスを吸収するバイアスアトラクターから構成されるバイアス適応型分類器を導入する。
• 過学習を避けるために、複雑なデータバイアスをモデル化できる、軽量な残差ネットワークとしてバイアスアトラクターを設計する。
• バイレベル学習フレームワークを採用：下位レベルではラベルあり・なしデータでネットワーク全体を最適化する。上位レベルでは、再サンプリングされたクラスバランスが取れたラベル付きデータサブセットを用いてバイアスアトラクターをチューニングする。
• 線形分類器の最適化をバイアスのかかっているデータ分布から分離することで、すべてのクラスに均等に一般化できるようにする。
• 上位レベルの目的関数でオンラインクラスバランスサンプリングを実装し、訓練中に線形分類器がバイアスのないまま保たれるようにする。
• アーキテクチャの変更なしに、FixMatchのような既存の擬似ラベルフレームワークに本手法を統合可能であり、モデルに依存しない適用性を確保する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータのクラス不均衡が、半教師あり学習における既存の擬似ラベル手法の性能にどのように影響するか？
• RQ2 ノイズの多い擬似ラベルを含む不均衡なデータから学習しても、分類器がバイアスのないままでいられるか？
• RQ3 バイレベル最適化フレームワークは、不均衡なSSLにおけるバイアス吸収とバイアスのない予測の分離に有効に機能するか？
• RQ4 軽量なバイアスアトラクターは、半教師あり学習における少数クラスの一般化をどの程度向上できるか？
• RQ5 ラベル付きデータおよび未ラベル付きデータの両方で異なるレベルのクラス不均衡が存在する状況下で、本手法は最先端手法と比較してどの程度優れているか？

主な発見

• CIFAR-10で不均衡比100の設定下で、L2ACフレームワークはFixMatchと比較して少数クラスの再現率を約60%向上させる。
• L2ACで訓練された線形分類器は、全ラベル付きデータで学習した上限モデルの予測クラス分布に非常に近い近似を達成しており、強いバイアスのない一般化性能を示している。
• t-SNE可視化により、L2ACは特にテールクラスにおいて、ベースラインモデルが誤分類しがちな部分でもより判別性の高い表現を生成していることが確認された。
• アブレーションスタディの結果、バイレベル訓練戦略が極めて重要であることが示された。この戦略を削除すると、バイアスアトラクターを保持しても顕著な性能低下が生じる。
• 複数のデータセットおよび不均衡比において一貫した改善が得られ、ラベル付きデータが少なく未ラベル付きデータがバランスの取れた逆不均衡設定でも有効である。
• バイアスアトラクター単体ではわずかな向上が得られるが、バイレベル最適化と組み合わせることで顕著な性能向上が達成され、階層的訓練戦略の重要性が裏付けられた。