[論文レビュー] Curriculum Labeling: Revisiting Pseudo-Labeling for Semi-Supervised Learning

Paola Cascante-Bonilla, Fuwen Tan+2 more|arXiv (Cornell University)|Jan 15, 2020

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本論文は、極値理論に基づく自己ペース制御を用いて高信頼度の疑似ラベル付きサンプルを選択し、各イテレーションの前にモデル重みを再初期化することで概念のずれを防ぐ、Curriculum Labelingを導入することで、半教師あり学習における疑似ラベル化を見直す。本手法は、ラベル付きデータがたった4,000サンプルのCIFAR-10で94.91%の精度を達成し、10%のラベル付きデータを用いたImageNet-ILSVRCでは68.87%のトップ1精度を記録し、最近の一貫性に基づく手法を上回り、分布外のラベルなしデータに対しても頑健であることが示された。

ABSTRACT

In this paper we revisit the idea of pseudo-labeling in the context of semi-supervised learning where a learning algorithm has access to a small set of labeled samples and a large set of unlabeled samples. Pseudo-labeling works by applying pseudo-labels to samples in the unlabeled set by using a model trained on the combination of the labeled samples and any previously pseudo-labeled samples, and iteratively repeating this process in a self-training cycle. Current methods seem to have abandoned this approach in favor of consistency regularization methods that train models under a combination of different styles of self-supervised losses on the unlabeled samples and standard supervised losses on the labeled samples. We empirically demonstrate that pseudo-labeling can in fact be competitive with the state-of-the-art, while being more resilient to out-of-distribution samples in the unlabeled set. We identify two key factors that allow pseudo-labeling to achieve such remarkable results (1) applying curriculum learning principles and (2) avoiding concept drift by restarting model parameters before each self-training cycle. We obtain 94.91% accuracy on CIFAR-10 using only 4,000 labeled samples, and 68.87% top-1 accuracy on Imagenet-ILSVRC using only 10% of the labeled samples. The code is available at https://github.com/uvavision/Curriculum-Labeling

研究の動機と目的

• 疑似ラベル化の有効性を、現在主流である一貫性正則化手法と比較して、現代の半教師あり学習において再評価すること。
• 反復的自己学習による誤りの蓄積や概念のずれ、確認バイアスといった、従来の疑似ラベル化の限界を是正すること。
• 現在のSSL手法がよく失敗する、ラベルなしデータセットに含まれる分布外サンプルに対する頑健性を向上させること。
• カリキュラム学習とモデル再初期化を組み合わせることで、単純かつ古典的な手法である疑似ラベル化が最先端の性能を達成できることを示すこと。

提案手法

• 極値理論（EVT）を用いて、ラベルなしデータの予測スコアの分布に基づき動的閾値を設定する自己ペース制御戦略を導入する。
• カリキュラム学習の枠組みを採用し、予測スコアが最も信頼度の高いものから順に選択され、訓練が進むにつれて徐々に信頼度が低いサンプルへと移行する。
• 各自己学習イテレーションの前にモデル重みを再初期化することで、誤りの蓄積を防ぎ、概念のずれを緩和する。
• 自己学習ループを実装し、まずラベル付きデータでモデルを訓練した後、ラベルなしサンプルに対して疑似ラベルを割り当て、各サイクルで信頼度が最も高い予測のみを訓練セットに追加する。
• 一般化を向上させるためにデータオーグメンテーションとZCA前処理を適用し、ラベル付きおよび疑似ラベル付きデータに対して標準的な交差エントロピー損失を用いてモデル更新を実行する。
• 性能の収束またはラベルなしデータセットの完全利用を基準に、停止基準を設定する。

実験結果

リサーチクエスチョン

• RQ1 洗練されたカリキュラム戦略が、疑似ラベル化の性能を、最近の一致性に基づくSSL手法と同等または上回るレベルまで回復できるか？
• RQ2 各自己学習イテレーションの前にモデルを再初期化することで、疑似ラベル化の性能と頑健性にどのような影響を与えるか？
• RQ3 一貫性正則化手法と比較して、疑似ラベル化はラベルなしデータセットに含まれる分布外サンプルに対してどの程度頑健か？
• RQ4 固定閾値の疑似ラベル化と比較して、EVTに基づく動的閾値設定は、精度および収束安定性の面で優れているか？

主な発見

• Curriculum Labelingは、CIFAR-10でラベル付きデータがたった4,000サンプルの状況でも94.91%のトップ1精度を達成し、UDAなどの最先端手法と同等の性能を示した。
• ImageNet-ILSVRCでは、ラベル付きデータの10%のみを用いて68.87%のトップ1精度を達成し、UDAおよびICTを上回った。
• EVTに基づく自己ペース制御カリキュラムは、固定閾値の疑似ラベル化（例：0.9および0.9995）を著しく上回り、特に後期の訓練段階で固定閾値ではほとんど改善が得られないことから顕著である。
• 各イテレーションの前にモデルを再初期化することで、微調整と比較して少なくとも1%の精度向上が達成され、概念のずれや確認バイアスの緩和に効果的であった。
• 本手法は、多くの一貫性ベースSSL手法がよく失敗する、ラベルなしデータセット内の分布外サンプルに対しても優れた頑健性を示した。
• 固定閾値と標準的なオーグメンテーションを用いたシンプルな疑似ラベル化では、重度のデータオーグメンテーションを施しても、提案されたカリキュラムアプローチの性能に達しないことがわかった。