[論文レビュー] Class-Distribution-Aware Pseudo Labeling for Semi-Supervised Multi-Label Learning

Mingkun Xie, Jia‐Hao Xiao+4 more|arXiv (Cornell University)|May 4, 2023

Text and Document Classification Technologies被引用数 4

ひとこと要約

本稿では、ラベル付きデータから真のクラス分布を推定し、正則化学習によって分布を整合させることで、クラス分布に配慮したしきい値を用いてクラスに配慮した方法で疑似ラベルを割り当てる、半教師あり多値ラーニングのための新規手法Class-Aware Pseudo-Labeling (CAP) を提案する。この手法により、特にラベル付きデータが限られた状況でも、疑似ラベルの正確性が著しく向上し、ベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

Pseudo-labeling has emerged as a popular and effective approach for utilizing unlabeled data. However, in the context of semi-supervised multi-label learning (SSMLL), conventional pseudo-labeling methods encounter difficulties when dealing with instances associated with multiple labels and an unknown label count. These limitations often result in the introduction of false positive labels or the neglect of true positive ones. To overcome these challenges, this paper proposes a novel solution called Class-Aware Pseudo-Labeling (CAP) that performs pseudo-labeling in a class-aware manner. The proposed approach introduces a regularized learning framework incorporating class-aware thresholds, which effectively control the assignment of positive and negative pseudo-labels for each class. Notably, even with a small proportion of labeled examples, our observations demonstrate that the estimated class distribution serves as a reliable approximation. Motivated by this finding, we develop a class-distribution-aware thresholding strategy to ensure the alignment of pseudo-label distribution with the true distribution. The correctness of the estimated class distribution is theoretically verified, and a generalization error bound is provided for our proposed method. Extensive experiments on multiple benchmark datasets confirm the efficacy of CAP in addressing the challenges of SSMLL problems.

研究の動機と目的

• 未知のラベル数やクラス不均衡の問題により、従来のインスタンスに配慮した手法が困難をきたす半教師あり多値ラーニング（SSMLL）における信頼性の低い疑似ラベル割り当ての課題に対処する。
• 欠落ラベルの仮定や固定しきい値に依存する既存手法の限界を克服する。
• 真のクラス分布を推定し、疑似ラベルの分布をそれと一致させることで、未ラベルデータを効果的に活用する手法を開発する。
• クラスに配慮したしきい値を用いた正則化学習フレームワークにより、少数のラベル付き例でも堅牢な性能を発揮する。

提案手法

• 推定されたクラス分布に基づくしきい値を用いて、各クラスごとに正例および負例の疑似ラベルを割り当てるクラスに配慮した疑似ラベル割り当て戦略を提案する。
• クラスに配慮したしきい値に基づき、各クラスの正例および負例の疑似ラベル数を制御する正則化学習フレームワークを導入する。
• 提案された観察に基づき、理論的に妥当な近似として、ラベル付きデータから真のクラス分布を推定する。
• 疑似ラベルの分布を真の潜在的クラス分布と一致させるためのクラス分布に配慮したしきい値戦略を実装する。
• 理論的分析により、推定されたクラス分布の正しさが証明され、CAPの一般化誤差バウンドが提示される。
• 2段階の訓練プロセスを採用する：まずラベル付きデータからクラス分布を推定し、次にしきい値処理を適用して未ラベルデータの疑似ラベルを生成する。

実験結果

リサーチクエスチョン

• RQ1 インスタンスに配慮した手法と比較して、クラスに配慮した疑似ラベル割り当て戦略は、半教師あり多値ラーニングにおける性能向上をもたらすか？
• RQ2 多値設定下で、少数のラベル付きデータから真のクラス分布をどれほど正確に推定できるか？
• RQ3 疑似ラベルの分布を真のクラス分布と一致させることで、一般化性能が向上し、誤検出／漏れ検出が減少するか？
• RQ4 η₁ および η₀ で制御される信頼区間を用いることで、ラベル不均衡の影響下でのモデル性能にどのような影響を与えるか？

主な発見

• CAP はすべてのベンチマークデータセット（VOC、COCO、NUS）で最先端の性能を達成し、特にラベル付きデータが少ない状況で顕著に優れた結果を示す。
• VOC および COCO において、CAP は最高の mAP スコアを達成し、低ラベルレジーム（p=0.05）下で次善のベースラインと比較して最大 5.2% の向上を示す。
• 広範なハイパーパramータチューニングおよびアーキテクチャ変更を経ても、インスタンスに配慮した疑似ラベルベースラインおよび2つの強力なSSL手法を上回る性能を発揮する。
• 最初の訓練エポックにおいても、同一のモデル予測を有する他の手法と比較して、CF1 スコアでCAPがすでに優れている。これは、クラス比の推定能力に優れていることを示している。
• 信頼性の低い正例疑似ラベルを除外すること（η₁ < 1）により性能が向上するが、負例疑似ラベルを削除すると、多値データに内在する正例／負例の不均衡のため性能が低下する。
• 理論的分析により、推定されたクラス分布の正しさが確認され、疑似ラベルの品質に依存する一般化誤差バウンドが提示される。