[論文レビュー] In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label Selection Framework for Semi-Supervised Learning

Mamshad Nayeem Rizve, Kévin Duarte+2 more|arXiv (Cornell University)|Jan 15, 2021

Text and Document Classification Technologies被引用数 242

ひとこと要約

この論文は、不確実性を考慮した pseudo-label 選択(UPS) フレームワークを導入することでラベルノイズを低減し、マルチラベル学習の否定的ラベルを可能にし、CIFAR-10/100、UCF-101、Pascal VOC で強力な SSL パフォーマンスを達成します。

ABSTRACT

The recent research in semi-supervised learning (SSL) is mostly dominated by consistency regularization based methods which achieve strong performance. However, they heavily rely on domain-specific data augmentations, which are not easy to generate for all data modalities. Pseudo-labeling (PL) is a general SSL approach that does not have this constraint but performs relatively poorly in its original formulation. We argue that PL underperforms due to the erroneous high confidence predictions from poorly calibrated models; these predictions generate many incorrect pseudo-labels, leading to noisy training. We propose an uncertainty-aware pseudo-label selection (UPS) framework which improves pseudo labeling accuracy by drastically reducing the amount of noise encountered in the training process. Furthermore, UPS generalizes the pseudo-labeling process, allowing for the creation of negative pseudo-labels; these negative pseudo-labels can be used for multi-label classification as well as negative learning to improve the single-label classification. We achieve strong performance when compared to recent SSL methods on the CIFAR-10 and CIFAR-100 datasets. Also, we demonstrate the versatility of our method on the video dataset UCF-101 and the multi-label dataset Pascal VOC.

研究の動機と目的

• ドメイン特定の拡張に依存しない一般的な SSL アプローチとしての pseudo-labeling を動機付ける。
• ネットワークのキャリブレーションが不十分で、誤って高信頼度の疑似ラベルを出力してしまう問題をAddressする。
• 低不確実性・高信頼度の pseudo-label を選択する UPS を提案し、マルチラベル学習のための否定的疑似ラベルを導入する。
• UPS を用いて CIFAR-10/100、UCF-101、Pascal VOC での実証的な強力な結果を示す。
• 不確実性推定手法に対する頑健性を示し、複数のモダリティへの適用性について議論する。

提案手法

• ハード閾値 (gamma) を用いてネットワーク予測から y-tilde を生成する疑似ラベルの生成を形式化する。
• 信頼度閾値 (tau_p, tau_n) を用いて正/負の疑似ラベルを選択するサブセット選択ベクトル g を導入する。
• 不確実性 u(p) を閾値 (kappa_p, kappa_n) と組み合わせて、不確実性を考慮した選択(UPS)基準を形成する。
• 正のクロスエントロピーや正のラベルが選択されない場合の負の学習を含む、ラベル付きデータと選択した部分集合の疑似ラベルを組み合わせて学習する。マルチラベルの場合は修正 BCE を用いる。
• 反復的に再生成されたラベルで再訓練し、誤差伝播を制限するためにネットワークを再初期化する（アルゴリズム 1）。
• UPS はモダリティに依存しないことを実証し、さまざまな不確実性推定手法（MC-Dropout、SpatialDropout、DropBlock、Data Aug）と互換性がある。

実験結果

リサーチクエスチョン

• RQ1 不確実性を考慮した疑似ラベル選択を組み合わせた場合、pseudo-labeling アプローチは競争力のある SSL パフォーマンスを達成できるか？
• RQ2 疑似ラベル選択における不確実性の包含は、キャリブレーション関連のノイズと一般化にどのように影響するか？
• RQ3 UPS は否定学習と不確実性ベースの選択を通じて、マルチラベルおよびビデオ領域へ自然に拡張できるか？
• RQ4 UPS は複数データセットを横断して、不確実性推定手法やハイパーパラメータの選択に対して頑健か？

主な発見

• UPS は不確実性を考慮した選択により疑似ラベルのノイズを著しく低減し、従来の PL および信頼度ベースの PL より高い疑似ラベル精度を達成する。
• CIFAR-10/100 では、UPS は異なるラベルレジームとバックボーンにおいて最先端の SSL 手法と競合する、またはそれを上回る誤り率を達成する。
• UPS は UCF-101（ビデオ領域）および Pascal VOC2007（マルチラベル）で、ラベル付きデータが少なくてもベースラインを上回る。
• アブレーション研究により、不確実性を考慮した選択と否定的学習が組み合わさることで誤りの大幅な低減に寄与し、UPS はハイパーパラメータに対して頑健であることが示される。
• UPS は複数の不確実性推定手法と互換性があり、ドメイン特定の拡張に依存せず、広範なモダリティ適用性を支持する。