[論文レビュー] RealMix: Towards Realistic Semi-Supervised Deep Learning Algorithms

Varun Nair, Javier Alonso+1 more|arXiv (Cornell University)|Dec 18, 2019

Advanced Neural Network Applications参考文献 15被引用数 12

ひとこと要約

RealMixは、MixUp、一貫性学習、エントロピー最小化、および分布外（OOD）マスクを組み合わせた画期的な半教師あり学習アルゴリズムを提案する。ラベル付きデータとラベルなしデータの間で分布シフトが生じる状況下でも性能を向上させる。CIFAR10で250ラベルのみを用いて9.79%のSOTA誤差率を達成し、完全な分布不一致下でも教師ありベースライン性能を維持または上回る唯一のSSL手法である。

ABSTRACT

Semi-Supervised Learning (SSL) algorithms have shown great potential in training regimes when access to labeled data is scarce but access to unlabeled data is plentiful. However, our experiments illustrate several shortcomings that prior SSL algorithms suffer from. In particular, poor performance when unlabeled and labeled data distributions differ. To address these observations, we develop RealMix, which achieves state-of-the-art results on standard benchmark datasets across different labeled and unlabeled set sizes while overcoming the aforementioned challenges. Notably, RealMix achieves an error rate of 9.79% on CIFAR10 with 250 labels and is the only SSL method tested able to surpass baseline performance when there is significant mismatch in the labeled and unlabeled data distributions. RealMix demonstrates how SSL can be used in real world situations with limited access to both data and compute and guides further research in SSL with practical applicability in mind.

研究の動機と目的

• ラベル付きデータとラベルなしデータの分布が異なる場合に、既存のSSL手法が著しく性能を落とすという顕著な限界に対処すること。
• 限られたラベル付きデータとノイズが多く、分布が不一致なラベルなしデータを伴う現実世界の状況に適した実用的なSSLアルゴリズムを開発すること。
• 成功したSSL技術（MixUp、一貫性学習、エントロピー最小化）を統合し、一貫性のあるフレームワークを構築すること。
• 転移学習を上回り、極端な分布シフト下でも効果を発揮するSSLの有効性を実証すること。
• 今後の研究を促進するため、オープンソースコードを提供すること。

提案手法

• RealMixは、トレーニング可能なパラメータθを有する深層ニューラルネットワークを用い、教師ありおよび教師なし損失を同時に最適化する。
• 各ラベルなしサンプルについて、多様性を確保するためCutOutを用いて50個の拡張コピーを生成する、確率的データ拡張（Extend(x)）を適用する。
• トレーニング中にラベル付きサンプルと拡張されたラベルなしサンプルを、ベータ分布（α）を用いて線形補間するMixUpを実装する。
• 入力の摂動に対してモデルの頑健性を確保するため、2番目の拡張関数（Augment(x)）を用いた一貫性学習を実装する。
• 新しい分布外（OOD）マスク機構を導入し、しきい値γを用いて低信頼度の予測を動的にフィルタリングすることで、不一致なラベルなしデータに起因するノイズを低減する。
• 訓練信号の段階的強化（TSA）を教師あり損失に適用し、訓練エポックに伴いその影響を徐々に高める。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしデータの分布がラベル付きデータの分布と著しく異なる場合、半教師あり学習手法は性能を維持できるか？
• RQ2 MixUp、一貫性学習、エントロピー最小化を組み合わせることで、現実世界のデータ環境下でより頑健で一般化性能の高い結果が得られるか？
• RQ3 特に分布シフト下において、限られたラベル付きデータで微調整された場合に、RealMixは転移学習を上回れるか？
• RQ4 RealMixのどの構成要素が分布シフト下での性能向上に最も重要か？
• RQ5 転移学習はRealMixと補完的か？それらの組み合わせにより誤差率をさらに低減できるか？

主な発見

• RealMixは、CIFAR10で250ラベルのみを用いて9.79%のSOTA誤差率を達成し、先行するSSL手法を著しく上回る。
• ラベル付きデータとラベルなしデータの間で75%の分布不一致が生じる状況下でも、教師ありベースライン（20.32%誤差）を維持または上回る唯一のSSL手法である。
• ImageNet（ILSVRC-2012）で事前学習された転移学習と組み合わせることで、CIFAR10で250ラベルを用いた誤差率を8.48%まで低減し、新たなSOTAを樹立した。
• アブレーションスタディにより、OODマスクが不可欠であることが確認された。OODマスクなしでは分布シフト下で誤差率が22.70%に上昇するが、OODマスクありでは性能を維持できる。
• CutOutなどの強力な拡張法と、1サンプルあたり50個の拡張コピーを用いることで、単純な拡張法や少ないコピー数と比較して性能が向上した。
• RealMixは、MixMatchや転移学習単体よりも優れており、低データ環境下で転移学習とSSLが補完的であることを示した。