[論文レビュー] FreeMatch: Self-adaptive Thresholding for Semi-supervised Learning

Yidong Wang, Hao Chen+10 more|arXiv (Cornell University)|May 15, 2022

Domain Adaptation and Few-Shot Learning被引用数 139

ひとこと要約

FreeMatch は自己適応閾値（SAT）と自己適応クラスフェアネス（SAF）を SSL に導入し、学習状況に基づいて各クラスおよび全体の信頼度閾値を共同で調整する。非常にラベルが少ない場合に特に優れた結果を生む。

ABSTRACT

Semi-supervised Learning (SSL) has witnessed great success owing to the impressive performances brought by various methods based on pseudo labeling and consistency regularization. However, we argue that existing methods might fail to utilize the unlabeled data more effectively since they either use a pre-defined / fixed threshold or an ad-hoc threshold adjusting scheme, resulting in inferior performance and slow convergence. We first analyze a motivating example to obtain intuitions on the relationship between the desirable threshold and model's learning status. Based on the analysis, we hence propose FreeMatch to adjust the confidence threshold in a self-adaptive manner according to the model's learning status. We further introduce a self-adaptive class fairness regularization penalty to encourage the model for diverse predictions during the early training stage. Extensive experiments indicate the superiority of FreeMatch especially when the labeled data are extremely rare. FreeMatch achieves 5.78%, 13.59%, and 1.28% error rate reduction over the latest state-of-the-art method FlexMatch on CIFAR-10 with 1 label per class, STL-10 with 4 labels per class, and ImageNet with 100 labels per class, respectively. Moreover, FreeMatch can also boost the performance of imbalanced SSL. The codes can be found at https://github.com/microsoft/Semi-supervised-learning.

研究の動機と目的

• SSL における閾値設計をモデルの学習状況とデータ難易度を反映する方向へ動機づける。
• 手動調整なしに global およびクラス固有の閾値を動的に設定する SAT を提案する。
• ラベル付きデータが少ない場合の学習を改善するために、多様なクラスごとの予測を奨励する SAF を導入する。
• 標準的な SSL ベンチマークで強力な実証的利得を示し、特に超低ラベル regime で顕著である。

提案手法

• SAT は unlabeled データの信頼度の EMA を用いて学習状況を反映するグローバル閾値を推定する。
• ローカルなクラス閾値は EMA ベースのクラス信頼度として計算され、グローバル閾値と MaxNorm スケーリングで組み合わせられる。
• unsupervised loss は 自己適応閾値を超える予測信頼度を持つ unlabeled サンプルのみを使用する。
• SAF は バッチの予測クラス分布を自己適応ターゲット分布（EMA 統計とヒストグラムに基づく）に合わせて多様性を正則化する。
• 全体の学習目的は supervised loss、unsupervised loss、fairness loss を組み合わせて L = Ls + w_u Lu + w_f Lf とする。

実験結果

リサーチクエスチョン

• RQ1 SSL 訓練中に信頼度閾値をどのように適応させてデータの利用と確認バイアス回避のバランスを取るべきか？
• RQ2 グローバル閾値だけでなく、クラスごとの（ローカル）閾値は、クラス不均衡や難易度の高いクラスに対して SSL の性能を改善できるか？
• RQ3 ラベル付きデータが極端に不足している場合に自己適応クラスフェアネス目的を組み込むと学習は改善されるか？

主な発見

• FreeMatch は SSL ベンチマーク全体で最先端または競合的な結果を達成し、ラベルが極端に不足している場合（例: CIFAR-10 は各クラス1つのラベル、STL-10 は40ラベル、ImageNet は各クラス100ラベル）で誤り率を顕著に低減する。
• グローバルおよびクラス固有の EMA ベース閾値は、学習状況を反映することで収束を速め、疑似ラベルの品質を向上させる。
• SAF は予測の多様性を高め、ほぼ教師なしに近い設定での収束を促進する。
• ImageNet の各クラス100ラベルの場合、FreeMatch は Top-1 エラーで FlexMatch を約1.28ポイント上回る。
• FreeMatch は CIFAR-10/100、SVHN、STL-10、ImageNet などの従来の SSL 手法と比較して頑健な改善を示す。