[論文レビュー] FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence

Kihyuk Sohn, David Berthelot+7 more|arXiv (Cornell University)|Jan 21, 2020

Domain Adaptation and Few-Shot Learning参考文献 60被引用数 2,264

ひとこと要約

FixMatch は、弱い拡張を用いて疑似ラベルを生成し、そのラベルに合わせるために強い拡張版で訓練する単純な SSL アルゴリズムを導入します; CIFAR-10 の 250 ラベルを含む標準 SSL ベンチマークや、各クラスあたり 4 ラベルといった状況でも最先端の性能を達成します。

ABSTRACT

Semi-supervised learning (SSL) provides an effective means of leveraging unlabeled data to improve a model's performance. In this paper, we demonstrate the power of a simple combination of two common SSL methods: consistency regularization and pseudo-labeling. Our algorithm, FixMatch, first generates pseudo-labels using the model's predictions on weakly-augmented unlabeled images. For a given image, the pseudo-label is only retained if the model produces a high-confidence prediction. The model is then trained to predict the pseudo-label when fed a strongly-augmented version of the same image. Despite its simplicity, we show that FixMatch achieves state-of-the-art performance across a variety of standard semi-supervised learning benchmarks, including 94.93% accuracy on CIFAR-10 with 250 labels and 88.61% accuracy with 40 -- just 4 labels per class. Since FixMatch bears many similarities to existing SSL methods that achieve worse performance, we carry out an extensive ablation study to tease apart the experimental factors that are most important to FixMatch's success. We make our code available at https://github.com/google-research/fixmatch.

研究の動機と目的

• SSL を、ラベル付けの労力を最小化しつつ未ラベルデータを活用する実用的なアプローチとして動機づける。
• 疑似ラベリングと一貫性正則化を組み合わせた単純な SSL アルゴリズムを提案する。
• 強い拡張としきい値付きの疑似ラベル付けを組み合わせることで、ブ benchmarks 全体で高い性能を得られることを示す。
• 拡張戦略とオプティマイザの選択を含む、SSL の性能に影響する主要な要因を評価する。

提案手法

• unlabeled 画像の弱い拡張からモデルの予測を用いて疑似ラベルを生成する。
• 最大クラス確率がしきい値 τ を超えた場合にのみ疑似ラベルを保持する。
• 同じ未ラベル画像の強い拡張版に対してクロスエントロピー損失を介して疑似ラベルに一致させて訓練する。
• unlabeled 損失を、ラベル付きデータの標準的な損失 ℓs と結合した訓練を行う（ℓs + λuℓu）。
• ラベル予測には弱い拡張を、訓練には強い拡張（RandAugment/CTAugment with Cutout）を使用する。
• 閾値設定、シャープニング、拡張戦略、正則化などの要因について広範なアブレーションを報告する。

実験結果

リサーチクエスチョン

• RQ1 よりシンプルな疑似ラベル付けと一貫性正則化の組み合わせは、より複雑な SSL 手法を上回るか。
• RQ2 拡張の選択、閾値設定、最適化設定は低ラベル領域で FixMatch の性能にどう影響するか。
• RQ3 FixMatch は最小限のハイパーパラメータ調整で標準的な SSL ベンチマークで最先端の結果を達成できるか。

主な発見

• FixMatch は 250 ラベルの CIFAR-10 で 94.93% の精度、各クラスにつき 4 ラベルで 88.61% の精度という最先端の結果を達成する。
• 本手法は CIFAR-10/100、SVHN、STL-10、ImageNet でも堅牢で、従来の SSL 手法を上回りつつ、より単純であることが多い。
• しきい値に基づく疑似ラベル付け（τ = 0.95）と強い拡張の使用は性能に不可欠であり、しきい値付けを用いるときだけのシャープニングは結果を改善しない。
• 正則化の選択（ウェイトデケイ、正則化）と SGD の最適化は、FixMatch の単純さにもかかわらず SSL 成功に影響を与える重要な要因である。
• 関連する SSL ワークの拡張（Distribution Alignment など）は FixMatch の性能をさらに向上させる可能性があるが、コアとなるアプローチは単純で効果的である。