[論文レビュー] ReMixMatch: Semi-Supervised Learning with Distribution Alignment and Augmentation Anchoring

David Berthelot, Nicholas Carlini+5 more|arXiv (Cornell University)|Nov 21, 2019

Domain Adaptation and Few-Shot Learning被引用数 321

ひとこと要約

ReMixMatchは分布整合性と増強アンカーを追加することでMixMatchを改善し、ラベル付きデータをはるかに少なく使用して最先端のSSL精度を達成し、CTAugmentを強い拡張に使用します。

ABSTRACT

We improve the recently-proposed "MixMatch" semi-supervised learning algorithm by introducing two new techniques: distribution alignment and augmentation anchoring. Distribution alignment encourages the marginal distribution of predictions on unlabeled data to be close to the marginal distribution of ground-truth labels. Augmentation anchoring feeds multiple strongly augmented versions of an input into the model and encourages each output to be close to the prediction for a weakly-augmented version of the same input. To produce strong augmentations, we propose a variant of AutoAugment which learns the augmentation policy while the model is being trained. Our new algorithm, dubbed ReMixMatch, is significantly more data-efficient than prior work, requiring between $5\ imes$ and $16\ imes$ less data to reach the same accuracy. For example, on CIFAR-10 with 250 labeled examples we reach $93.73\\%$ accuracy (compared to MixMatch's accuracy of $93.58\\%$ with $4{,}000$ examples) and a median accuracy of $84.92\\%$ with just four labels per class. We make our code and data open-source at https://github.com/google-research/remixmatch.

研究の動機と目的

• MixMatchのデータ効率を改善するための動機づけ
• unlabeledの予測分布を ground-truthのラベル分布に合わせる distribution alignmentを導入する
• weak-augmentation anchorsを用いて複数の強い拡張ビューを監視する augmentation anchoringを提案する
• ラベルなし proxiesを必要とせずオンラインで強い拡張方針を学習するCTAugmentを開発する
• 標準SSLベンチマーク全体で最先端の性能を示し、各コンポーネントの寄与を分析する

提案手法

• unlabeled予測の走行平均を保ち、p(y)/p̃(y)の比率で推測を再重み付けして distribution alignmentを統合する
• MixMatchの一貫性正則化を augmentation anchoringへ置換し、弱い拡張アンカーを用いて複数の強い拡張ビューを監督する
• 監視付きプロキシタスクを回避する制御理論ベースのオンライン拡張方針学習器であるCTAugmentを導入する
• unlabeledサンプルごとに複数の強い拡張（K）を適用し、推定ラベルをシャープ化/テンパーする
• 増強されたラベル付きデータとラベルなしデータのMixUpを用い、事前の混合なしのラベルなし損失と回転ベースの自己監督を追加する
• Adamでトレーニングし、学習率とウェイト減衰を固定、最終ウェイトに対して指数移動平均を採用する

実験結果

リサーチクエスチョン

• RQ1 distribution alignmentはラベルの周辺分布と無ラベル予測を揃えることでSSLを改善するか？
• RQ2 augmentation anchoringは強い拡張を安定化させ、MixMatchより性能を向上させるか？
• RQ3 オンラインCTAugmentベースの拡張方針はSSLにどのような影響を与えるか？
• RQ4 標準ベンチマークでラベルデータ量を変化させたとき、ReMixMatchはどう性能を示すか？
• RQ5 ablation研究を通じて各成分の寄与はどれか？

主な発見

• ReMixMatchはCIFAR-10とSVHNのラベルデータ量ごとに最先端の精度を達成する。
• CIFAR-10で250ラベル時に93.73%の精度に到達し、4,000ラベルのMixMatchと同等の性能をはるかに少ないデータで実現する。
• STL-10ではK=1および高いK値でMixMatchと比較して誤差率を大幅に低減する。
• Ablation解析により分布整合、事前混合なしのラベルなし損失、より大きなKが性能に正の寄与を持つことが示され、回転損失は非常に低ラベル領域で有用である。
• CIFAR-10とSVHN全体で、ReMixMatchはMixMatch対比で最大16倍のデータ効率を示す。
• 少数ショット設定（例：CIFAR-10でクラスあたり4ラベル）で、ReMixMatchは中位精度で競争力を持つ。