[論文レビュー] DASO: Distribution-Aware Semantics-Oriented Pseudo-label for Imbalanced Semi-Supervised Learning

Young‐Taek Oh, Dong-Jin Kim+1 more|arXiv (Cornell University)|Jun 10, 2021

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

本稿では、現在のクラス分布に基づいて線形および意味的疑似ラベルを動的にブレンドすることで、疑似ラベルのバイアスを低減する、長尾半教師あり学習のための新規擬似ラベリングフレームワークDASOを提案する。さらに、特徴表現を向上させる意味的アライメント損失を導入し、CIFAR-10/100-LT、STL-10-LT、およびオープンセットクラスを含む大規模な Semi-Aves といった不均衡なベンチマークで一貫した性能向上を達成している。

ABSTRACT

The capability of the traditional semi-supervised learning (SSL) methods is far from real-world application due to severely biased pseudo-labels caused by (1) class imbalance and (2) class distribution mismatch between labeled and unlabeled data. This paper addresses such a relatively under-explored problem. First, we propose a general pseudo-labeling framework that class-adaptively blends the semantic pseudo-label from a similarity-based classifier to the linear one from the linear classifier, after making the observation that both types of pseudo-labels have complementary properties in terms of bias. We further introduce a novel semantic alignment loss to establish balanced feature representation to reduce the biased predictions from the classifier. We term the whole framework as Distribution-Aware Semantics-Oriented (DASO) Pseudo-label. We conduct extensive experiments in a wide range of imbalanced benchmarks: CIFAR10/100-LT, STL10-LT, and large-scale long-tailed Semi-Aves with open-set class, and demonstrate that, the proposed DASO framework reliably improves SSL learners with unlabeled data especially when both (1) class imbalance and (2) distribution mismatch dominate.

研究の動機と目的

• ラベル付きデータとラベルなしデータの間でクラス分布の不一致が生じる状況下での半教師あり学習における疑似ラベルのバイアス問題に取り組む。
• データがバランスしていることや、ラベル付き・ラベルなしデータの分布が同一であることを仮定する既存のSSL手法の限界を克服する。
• ラベルなしデータの分布に関する事前知識が不要な、ラベルなしデータの疑似ラベル分布のリアルタイムなクラス分布に基づいて、擬似ラベルのブレンドを適応的に制御する汎用フレームワークを開発する。
• 意味的アライメント損失を用いて、クラスプロトタイプのバランスを促進し、異なるデータビュー間での予測の一貫性を高めることで、特徴表現を向上させる。
• オープンセットシナリオ（外部クラスの例が含まれる）を含む、多様な不均衡なSSLベンチマークで、強力な性能向上を実現する。

提案手法

• 現在の疑似ラベル分布に基づいて動的にスケジューリングされる重みを用いて、ヘッドクラスにバイアスがかかる線形疑似ラベルと、テイルクラスにバイアスがかかる意味的疑似ラベルを組み合わせるクラス適応的ブレンド戦略を提案する。
• 2つの拡張されたラベルなしデータのビューを、同じクラスプロトタイプにアライメントさせる意味的アライメント損失（$\mathcal{L}_{\text{align}}$）を導入し、バランスの取れた特徴空間を促進し、分類器のバイアスを低減する。
• 意味的疑似ラベル付けに用いる類似度ベース分類器の基準点として、ラベル付きデータのEMA平均特徴からバランスの取れたプロトタイプを生成する。
• FixMatch や ReMixMatch といった既存のSSLアルゴリズムと、プラグアンドプレイ互換性を持つようにDASOフレームワークを統合し、長尾設定下での性能向上を実現する。
• プロトタイプベース分類器の学習を安定化させるために、ストップグラデント操作を活用し、安定した特徴学習を確保する。
• 特徴空間における一貫性正則化を活用して一般化性能とロバストネスを向上させ、特に少数クラスおよび外部クラスのサンプルに対して有効である。

実験結果

リサーチクエスチョン

• RQ1 線形および意味的疑似ラベルの動的ブレンドが、長尾データ分布下での半教師あり学習におけるバイアス低減に効果的に機能するか？
• RQ2 提案された意味的アライメント損失は、不均衡なSSL設定下での特徴表現および分類器の一般化性能をどのように向上させるか？
• RQ3 ラベルなしデータの分布がラベル付きデータの分布と著しく異なる場合、特にオープンセットシナリオを含む場合に、DASOはどの程度性能を向上させられるか？
• RQ4 DASOフレームワークは、長尾度が異なるさまざまなSSLアルゴリズムおよびベンチマークデータセットにおいても、性能向上を維持できるか？
• RQ5 明示的なオープンセット学習コンponentsがなくても、DASOは外部クラスの例における低信頼度予測を暗黙的に検出し、低減できるか？

主な発見

• DASOは、CIFAR-10/100-LT、STL-10-LT、および外部クラスを含む大規模な Semi-Aves を含む、複数の長尾ベンチマークで一貫した性能向上を達成している。
• 100クラスと長尾分布を持つCIFAR-100-LTでは、強いクラス不均衡下でFixMatchに比べてトップ1正確度が4.2%向上している。
• 外部クラスの例を含むSemi-Avesベンチマークでは、外部クラスサンプルに対する確信度の高い予測数を約8,000から約4,000に削減し、より良い不確実性推定を示している。
• t-SNE可視化では、DASOがテイルクラスとヘッドクラスの分離性を向上させ、ベースラインのFixMatchと比較して、少数クラスのクラスタがヘッドクラスのクラスタから離れる傾向にあることが示された。
• 意味的アライメント損失単体でも少数クラスのクラスタリングが向上するが、適応的ブレンドを組み合わせた完全なDASOフレームワークが、最良の分離性と性能を達成している。
• アブレーションスタディにより、適応的ブレンド機構と意味的アライメント損失の両方がDASOの成功に不可欠であることが確認され、それぞれがバイアス低減に顕著な寄与をしている。