[論文レビュー] FlexMatch: Boosting Semi-Supervised Learning with Curriculum Pseudo Labeling

Bowen Zhang, Yidong Wang+5 more|arXiv (Cornell University)|Oct 15, 2021

Domain Adaptation and Few-Shot Learning参考文献 37被引用数 477

ひとこと要約

FlexMatch は Curriculum Pseudo Labeling (CPL) を FixMatch に統合し、SSL の学習中にクラスごとに閾値を動的に調整することで、追加パラメータなしで精度と収束速度を向上させます。CPL は特にラベルが不足している場合の性能を改善し、他の SSL 手法にも適用可能です。

ABSTRACT

The recently proposed FixMatch achieved state-of-the-art results on most semi-supervised learning (SSL) benchmarks. However, like other modern SSL algorithms, FixMatch uses a pre-defined constant threshold for all classes to select unlabeled data that contribute to the training, thus failing to consider different learning status and learning difficulties of different classes. To address this issue, we propose Curriculum Pseudo Labeling (CPL), a curriculum learning approach to leverage unlabeled data according to the model's learning status. The core of CPL is to flexibly adjust thresholds for different classes at each time step to let pass informative unlabeled data and their pseudo labels. CPL does not introduce additional parameters or computations (forward or backward propagation). We apply CPL to FixMatch and call our improved algorithm FlexMatch. FlexMatch achieves state-of-the-art performance on a variety of SSL benchmarks, with especially strong performances when the labeled data are extremely limited or when the task is challenging. For example, FlexMatch achieves 13.96% and 18.96% error rate reduction over FixMatch on CIFAR-100 and STL-10 datasets respectively, when there are only 4 labels per class. CPL also significantly boosts the convergence speed, e.g., FlexMatch can use only 1/5 training time of FixMatch to achieve even better performance. Furthermore, we show that CPL can be easily adapted to other SSL algorithms and remarkably improve their performances. We open-source our code at https://github.com/TorchSSL/TorchSSL.

研究の動機と目的

• SSL における固定のクラス共通閾値を扱う問題を解決して FixMatch の改善を動機づける。
• クラスごとの学習状況に基づいて未ラベルデータを活用するために Curriculum Pseudo Labeling (CPL) を導入する。
• 追加のパラメータや計算を増やすことなく、CPL を FixMatch に統合して FlexMatch を開発する。
• 標準的な SSL ベンチマークやラベルが乏しい状況での CPL の有効性を示す。

提案手法

• 固定閾値を超える未ラベルサンプルの数を用いて各クラスの学習状況を推定するよう CPL を定義する。
• ベース閾値 τ を正規化された学習効果 β_t(c) でスケーリングして各クラスの柔軟閾値 T_t(c) を計算する。
• 新たなパラメータや順伝搬・逆伝搬計算を追加せず、各反復で閾値を更新する。
• β_t(c) に非線形写像 M を適用して T_t(c) を得る。感度を高めるために凸関数を用いる。
• 初期訓練を安定化させ、確認バイアスを減らすための閾値ウォームアップを組み込む。
• 動的閾値を用いた SSL 損失を、監視付き損失 L_s と未監視損失 L_{u,t} の組み合わせとして定式化する。

実験結果

リサーチクエスチョン

• RQ1 固定のグローバル閾値と比較して、クラスごと・時変閾値は SSL における未ラベルデータの活用を改善できるか。
• RQ2 CPL は標準的な SSL ベンチマーク全体で収束速度と最終精度を改善するか。特に非常に少ないラベルの場合にどうか？
• RQ3 CPL は追加の学習可能パラメータや計算オーバーヘッドを増やさずに FixMatch や他の SSL アルゴリズムと効果的に統合できるか？
• RQ4 閾値写像関数とウォームアップが性能に与える影響はどうか？
• RQ5 ImageNet のような大規模かつ不均衡なデータセットで CPL はどのように機能するか？

主な発見

• FlexMatch は複数の SSL ベンチマークで最先端の結果を達成し、特にラベルが極めて限られている場合に顕著（e.g., CIFAR-100 with 4 labels per class、STL-10 with 40 labels）。
• FlexMatch は FixMatch に比べて CIFAR-100 で 13.96%、STL-10 で 18.96% の誤り率を削減する（4 labels per class の下で）。
• CPL は収束を早め、FlexMatch が FixMatch の約 1/5 未満の訓練時間で競合的な性能に達することを可能にする。
• CPL は他の SSL 手法（例: UDA, Pseudo-Labeling）も追加計算コストなしで改善する。
• ImageNet の 100 labels per class を用いた実験では、2^20 iterations 後に FlexMatch が FixMatch を上回すことを示し、大規模データセットへのスケーラビリティを示唆する。