[論文レビュー] Distribution Aligning Refinery of Pseudo-label for Imbalanced Semi-supervised Learning

Jaehyung Kim, Youngbum Hur+4 more|arXiv (Cornell University)|Jul 17, 2020

Imbalanced Data Classification Techniques参考文献 47被引用数 84

ひとこと要約

本論文は、DARP（Distribution Aligning Refinery of Pseudo-label）を提案し、クラス不均衡下でSSLの偏った擬似ラベルを真の未ラベリングクラス分布に合わせて整 alignment する凸最適化ベースの手法を用いて、最先端のSSL手法を改善する。

ABSTRACT

While semi-supervised learning (SSL) has proven to be a promising way for leveraging unlabeled data when labeled data is scarce, the existing SSL algorithms typically assume that training class distributions are balanced. However, these SSL algorithms trained under imbalanced class distributions can severely suffer when generalizing to a balanced testing criterion, since they utilize biased pseudo-labels of unlabeled data toward majority classes. To alleviate this issue, we formulate a convex optimization problem to softly refine the pseudo-labels generated from the biased model, and develop a simple algorithm, named Distribution Aligning Refinery of Pseudo-label (DARP) that solves it provably and efficiently. Under various class-imbalanced semi-supervised scenarios, we demonstrate the effectiveness of DARP and its compatibility with state-of-the-art SSL schemes.

研究の動機と目的

• 多数派クラスへ偏る傾向がある不均衡なクラス分布下でのSSLの性能低下を動機づけ、対処する。
• 元の予測情報を保ちながら、擬似ラベルをソフトに精緻化する凸最適化定式化を提案する。
• 分布に整合した擬似ラベルを生成する収束保証付きの効率的な反復解法（DARP）を開発する。
• 合成のロングテールデータと実データに対して、主要なSSL方式におけるDARPの適合性と改善を示す。

提案手法

• 真の未ラベルクラス分布を満たすことを条件に、整形後の擬似ラベルと元の擬似ラベル間の加重KL発散を最小化する凸最適化問題を定式化する。
• エントロピーに基づく重み w_m を導入し、高信頼度の擬似ラベルを強調する。
• 有効な双対座標上昇アルゴリズム（Algorithm 1）を提供し、唯一解への収束性を証明する。
• 信頼できる信号に焦点を当てるため、小さなエントリを削除するデータフィルタリング手順（Algorithm 2）を追加して精緻化を強化する。
• ラベル付きと未ラベル分布が異なる場合には、混同行列ベースの推定により真の未ラベルクラス分布 {M_k} を推定する（セクション3.3）。

実験結果

リサーチクエスチョン

• RQ1 ラベル付き/未ラベルデータのクラス不均衡はSSLの擬似ラベルをどのようにバイアスし、マイノリティクラスの性能にどのような影響を与えるのか？
• RQ2 擬似ラベル分布を真の未ラベル分布に合わせて精緻化することで、最先端の手法におけるSSLの性能が改善されるか？
• RQ3 元の擬似ラベル情報を保持しつつ、収束保証を持つ効率的な精緻化問題を解くことは可能か？
• RQ4 精緻化前に小さなノイズの多いエントリを削除することで、精緻化後の擬似ラベルの品質をさらに高められるか？
• RQ5 真の未ラベル分布が直接観測できない場合、どれだけ正確に推定できるか？

主な発見

• DARPは、不均衡な状況全体でベースラインSSL手法（MixMatch、ReMixMatch、FixMatch）を一貫して改善する。
• 真の未ラベル分布に擬似ラベルを一致させることで、複数の gamma 設定の下でバランス精度とGMの相対的な大幅な低減をもたらす。
• 提案された反復双対座標上昇解法は、実践的には精緻化問題の唯一解へ収束する（T=10で十分）。”
• 精緻化前に小さなノイズを含む擬似ラベルエントリを削除することで、より高信頼の信号へと精緻化を偏らせることで性能がさらに向上する。
• 未ラベルとラベル付き分布が異なる場合（gamma_l ≠ gamma_u）でも、および未ラベルデータが均一分布に近い場合（例: STL-10）でもDARPは有効である。
• DARPは計算オーバーヘッドを控えめに追加し（ヴァニラSSL実行の最大約20%程度）、複数のSSLフレームワークと互換性がある。