[論文レビュー] CoSSL: Co-Learning of Representation and Classifier for Imbalanced Semi-Supervised Learning

Yue Fan, Dengxin Dai+2 more|arXiv (Cornell University)|Dec 8, 2021

Imbalanced Data Classification Techniques被引用数 5

ひとこと要約

CoSSLは、共通のエンコーダーと疑似ラベル生成を介して結合するが、表現学習と分類器学習を分離する共同学習フレームワークを提案する。これにより、クラス不均衡な半教師あり学習において顕著な性能向上が達成される。また、未ラベルデータを活用して尾数クラスの一般化性能を向上させるためのテールクラス特徴強化（TFE）を導入し、CIFAR-10、CIFAR-100、ImageNet、Food-101の多様なシフトしたテスト分布下で最先端の結果を達成した。

ABSTRACT

In this paper, we propose a novel co-learning framework (CoSSL) with decoupled representation learning and classifier learning for imbalanced SSL. To handle the data imbalance, we devise Tail-class Feature Enhancement (TFE) for classifier learning. Furthermore, the current evaluation protocol for imbalanced SSL focuses only on balanced test sets, which has limited practicality in real-world scenarios. Therefore, we further conduct a comprehensive evaluation under various shifted test distributions. In experiments, we show that our approach outperforms other methods over a large range of shifted distributions, achieving state-of-the-art performance on benchmark datasets ranging from CIFAR-10, CIFAR-100, ImageNet, to Food-101. Our code will be made publicly available.

研究の動機と目的

• 標準的なSSLがデータの不均衡により失敗するクラス不均衡なデータ分布下での半教師あり学習におけるギャップを解消すること。
• 手動による再バランスに依存せずに、長尾設定下でのラベル付きおよび未ラベル付きデータを効果的に活用するフレームワークを開発すること。
• 実世界の展開シナリオを反映するため、シフトしたテスト分布を用いたモデルの耐性を評価する新しい評価プロトコルを提案すること。
• 未ラベルデータをデータオーグメンテーションのソースとして活用し、尾数クラスの分類器学習を強化する手法を設計すること。

提案手法

• CoSSLは表現学習と分類器学習を分離し、勾配の交換なしに別々に訓練するが、共通のエンコーダーと疑似ラベル生成を介して接続する。
• フレームワークは共通のエンコーダーを用いて表現学習から得た特徴を分類器学習に転送し、特徴の質と一般化性能を向上させる。
• 頑健な分類器によって生成された疑似ラベルを表現学習の教師信号として用い、反復的精錬による自己改善を可能にする。
• テールクラス特徴強化（TFE）は、分類器学習中に未表層クラスのデータ多様性を向上させるために、クラス依存のブレンド確率を導入する。
• TFEは融合係数λをμと1の間で一様分布からサンプリングし、ベータ分布バージョンよりも性能を向上させる。また、ラベルブレンドを回避することで予測信頼度を保持する。
• 強力なSSLベースライン（例：FixMatch）をTFEと統合し、表現学習と分類器学習の間で相互に改善する共同学習ループを構築する。

実験結果

リサーチクエスチョン

• RQ1 表現学習と分類器学習を分離する共同学習フレームワークでも、クラス不均衡な半教師あり学習で強力な性能を達成できるか？
• RQ2 長尾設定下で、未ラベルデータを効果的に活用して尾数クラスの分類器の耐性を向上させることは可能か？
• RQ3 シフトしたテスト分布での評価は、標準的な均一なテストプロトコルでは捉えきれない限界を明らかにするか？
• RQ4 特徴混合の設計選択（例：ブレンド確率、融合戦略、ラベルブレンド）の中で、クラス不均衡なSSLにおける性能に最も大きな影響を与える要因は何か？
• RQ5 多様なベンチマークデータセットにおいて、高比率および極端なクラス不均衡比の両方で、既存の最先端手法を上回るフレームワークを構築できるか？

主な発見

• CoSSLは、CIFAR-10、CIFAR-100、ImageNet、Food-101において、さまざまなシフトしたテスト分布下で最先端の性能を達成し、特に高比率の不均衡下で顕著な優位性を示した。
• 共同学習フレームワークは、ジョイントトレーニングや2段階トレーニングを上回り、表現学習が分類器学習からの勾配で更新される場合に3.78%の精度低下を示した。
• クラス依存のブレンド確率を導入しないバージョンと比較して、TFEは2.34%の性能向上を達成し、尾数クラスの一般化に重要であることを示した。
• TFEでラベルブレンドを回避した場合、7.00%の性能低下が生じ、予測信頼度の保持が頑健な分類器学習にとって不可欠であることを確認した。
• 本手法は、既知および未知のシフトしたテスト分布においても強力な性能を維持したが、根本的に異なる分布への一般化の限界が明らかになった。
• CoSSLでさえも、トレーニング分布から大きく離れたテスト分布では性能が著しく低下するため、さらなる耐性向上の必要性が示された。