[論文レビュー] ReMixMatch: Semi-Supervised Learning with Distribution Matching and Augmentation Anchoring

David Berthelot, Nicholas Carlini+5 more|arXiv (Cornell University)|Apr 30, 2020

Domain Adaptation and Few-Shot Learning参考文献 26被引用数 338

ひとこと要約

ReMixMatch は、分布整合性と増幅アンカリングを導入することで半教師あり学習を向上させ、ラベルなし予測を真のラベル分布に一致させ、強い増幅と弱い増幅の間で一貫性を促進する。この手法は、顕著に少ないラベル付きデータで最先端の精度を達成し、CIFAR-10 でたった 250 個のラベル付き例を使用して 93.73% の精度を達成した。これは MixMatch が 4,000 個のラベル付き例を必要としていたのを上回る。

ABSTRACT

We improve the recently-proposed ``MixMatch semi-supervised learning algorithm by introducing two new techniques: distribution alignment and augmentation anchoring. - Distribution alignment encourages the marginal distribution of predictions on unlabeled data to be close to the marginal distribution of ground-truth labels. - Augmentation anchoring} feeds multiple strongly augmented versions of an input into the model and encourages each output to be close to the prediction for a weakly-augmented version of the same input. To produce strong augmentations, we propose a variant of AutoAugment which learns the augmentation policy while the model is being trained. Our new algorithm, dubbed ReMixMatch, is significantly more data-efficient than prior work, requiring between 5 times and 16 times less data to reach the same accuracy. For example, on CIFAR-10 with 250 labeled examples we reach 93.73% accuracy (compared to MixMatch's accuracy of 93.58% with 4000 examples) and a median accuracy of 84.92% with just four labels per class.

研究の動機と目的

• 大量のラベル付きデータに依存しないデータ効率の向上を図ること。
• ラベルなしデータの予測における分布シフトを、真のラベル分布に一致させることで是正すること。
• 同じ入力の弱い増幅と強い増幅の間で一貫性を強制することで、モデルの頑健性を向上させること。
• 一般化を向上させるために、訓練時に増幅ポリシーを学習する手法を開発すること。

提案手法

• 分布整合性は、ラベルなしデータに対するモデル予測の周辺分布と真のラベル分布の乖離を最小化する。
• 増幅アンカリングは、1つの入力に対して複数の強い増幅を用い、それぞれが同じ入力の弱い増幅版と類似した予測を出すように促進する。
• モデルと同時に訓練される、AutoAugment の変種が、訓練中に最適な増幅ポリシーを学習する。
• ラベル付きデータに対する交差エントロピー損失と、弱い増幅および強い増幅の両方を用いたラベルなしデータに対する一貫性正則化の組み合わせでモデルを訓練する。
• 予測の安定化と向上を図るために、エントロピー最小化と分布整合性を活用する。

実験結果

リサーチクエスチョン

• RQ1 真のラベル分布にモデル予測を一致させることで、半教師あり学習における一般化性能を向上させられるか？
• RQ2 弱い増幅と強い増幅の間で一貫性を強制することで、モデルの頑健性と精度が向上するか？
• RQ3 訓練時における増幅ポリシー探索手法は、固定された増幅ポリシーを上回る性能を示せるか？
• RQ4 ReMixMatch は、精度を維持または向上させながら、どの程度ラベル付きデータの必要量を削減できるか？

主な発見

• ReMixMatch は、CIFAR-10 でたった 250 個のラベル付き例を使用して 93.73% の精度を達成した。これは MixMatch が 4,000 個のラベル付き例を必要としていた 93.58% の精度を上回る。
• クラスあたりたった 4 個のラベル付き例しか使用しない場合、ReMixMatch は CIFAR-10 で中央値として 84.92% の精度を達成した。これは高いデータ効率性を示している。
• ReMixMatch は、同等の精度を達成するためのラベル付きデータの必要量を、先行する最先端手法と比較して 5〜16 倍まで削減した。
• 分布整合性は、ラベルなし予測における予測の一貫性を著しく向上させ、分布シフトを低減した。