[論文レビュー] Debiased Learning from Naturally Imbalanced Pseudo-Labels

Xudong Wang, Zhirong Wu+2 more|arXiv (Cornell University)|Jan 5, 2022

Domain Adaptation and Few-Shot Learning被引用数 13

ひとこと要約

この論文は、ソースとターゲットのデータがクラスバランスである場合でも、モデルの予測から生じる疑似ラベルの自然なアンバランスに対処する、新しいデバイアス学習手法DebiasPLを提案する。反事後的推論を用いて分類器の応答バイアスを除去し、疑似ラベルのアンバランスを補正するためのアダプティブマージン損失を組み合わせることで、最先端の結果を達成する：ImageNet-1Kの半教師あり学習で0.2%のラベルで26%の精度向上を達成し、ゼロショット学習で9%の向上を示し、真の分類マージンの知識を必要とせず、既存手法を上回る。

ABSTRACT

Pseudo-labels are confident predictions made on unlabeled target data by a classifier trained on labeled source data. They are widely used for adapting a model to unlabeled data, e.g., in a semi-supervised learning setting. Our key insight is that pseudo-labels are naturally imbalanced due to intrinsic data similarity, even when a model is trained on balanced source data and evaluated on balanced target data. If we address this previously unknown imbalanced classification problem arising from pseudo-labels instead of ground-truth training labels, we could remove model biases towards false majorities created by pseudo-labels. We propose a novel and effective debiased learning method with pseudo-labels, based on counterfactual reasoning and adaptive margins: The former removes the classifier response bias, whereas the latter adjusts the margin of each class according to the imbalance of pseudo-labels. Validated by extensive experimentation, our simple debiased learning delivers significant accuracy gains over the state-of-the-art on ImageNet-1K: 26% for semi-supervised learning with 0.2% annotations and 9% for zero-shot learning. Our code is available at: https://github.com/frank-xwang/debiased-pseudo-labeling.

研究の動機と目的

• 疑似ラベルがバランスの取れたデータに由来しても、モデル予測バイアスのため、本質的にアンバランスであることを調査・特定すること。
• 半教師あり学習およびゼロショット学習において、疑似ラベルが誤った多数派を生み出すという、これまで無視されてきたバイアスの原因に対処すること。
• 真の分類マージンの知識が通常必要とされる標準的なデバイアス手法とは異なり、その知識が事前に得られない状況でも動作するデバイアス手法を開発すること。
• 疑似ラベルのアンバランスを是正することで、バランスデータおよびロングテイルデータの両設定において、モデルの汎化性能とロバスト性を向上させること。

提案手法

• 本手法は、仮想のバランスの取れたラベル分布下でのモデル出力を推定することで、分類器応答バイアスを除去する反事後的推論を用いるアダプティブデバイアスモジュールを導入する。
• 疑似ラベルの観察されたアンバランスに基づき、各クラスのマージンを動的に調整するアダプティブマージン損失を採用し、ヘッドクラスへの過学習を軽減する。
• FixMatch や CLIP を用いたゼロショット学習などの既存の疑似ラベルパイプラインと互換性のあるプラグインモジュールとしてフレームワークを設計する。
• 真のラベルや真の分類マージンにアクセスする必要がなく、低リソースおよびゼロショット設定への適用が可能である。
• 標準的な交差エントロピー損失に加え、デバイアスとマージン適応のコンponentを訓練目的に統合し、エンドツーエンドで学習する。
• デバイアス強度λや信頼度しきい値τといったハイパーパrameterは、アブレーションを通じてバイアス補正とモデル適合のバランスを最適化するように調整される。

実験結果

リサーチクエスチョン

• RQ1 CLIP や FixMatch といった最先端モデルが生成する疑似ラベルは、ソースとターゲットのデータがバランスされている場合でも、顕著なクラスアンバランスを示すのはなぜか？
• RQ2 真のラベル分布や真の分類マージンに依存せずに、疑似ラベルのバイアスを是正することは可能か？
• RQ3 疑似ラベルのデバイアスを是正することで、半教師あり学習およびゼロショット学習ベンチマークにおける性能にどのような影響を与えるか？
• RQ4 提案手法のデバイアス除去は、異なる疑似ラベルパイプラインおよびデータ分布に普遍的に適用可能か？
• RQ5 ロングテイルおよびアンバランスデータ設定において、デバイアス強度とモデル汎化性能の最適なトレードオフは何か？

主な発見

• DebiasPLは、ImageNet-1Kの半教師あり学習で0.2%のラベルのみで26%の精度向上を達成し、既存の最先端手法を著しく上回る。
• ゼロショット学習では、CLIP を用いた疑似ラベル化の既存手法を9%上回る改善を達成する。
• アブレーションスタディにより、反事後的デバイアスモジュールとアダプティブマージン損失の両方が不可欠であることが確認され、長尾CIFAR10-LTでは完全な手法がアブレーションバリアントを7%以上上回る。
• 最適なデバイアス強度λは0.5であり、デフォルト値の1.0を上回る性能を示し、バイアス補正とモデル適合の間には非単調なトレードオフがあることが示唆される。
• 信頼度しきい値τ = 0.95 でCLIP予測をフィルタリングすると、アンバランスは増加するが精度は向上する。DebiasPLはこのトレードオフを効果的に緩和し、ImageNet-1K ZSLで67.7%のトップ1精度を達成する。
• 本手法はドメインシフトに対してロバストであり、EuroSAT、MNIST、DTD、GTSRB、Flowers102 など多様なベンチマークにわたって良好に一般化する。これにより、プラグインモジュールとしての普遍性が確認された。