[論文レビュー] Exploring Self-Supervised Regularization for Supervised and Semi-Supervised Learning

Phi Vu Tran|arXiv (Cornell University)|Jun 25, 2019

Domain Adaptation and Few-Shot Learning参考文献 60被引用数 10

ひとこと要約

本稿では、回転および反転の幾何変換予測を用いた自己教師あり正則化を統合したマルチタスクCNNフレームワークSESEMIを提案する。教師ありおよび半教師あり画像分類において、追加のハイパーパrameterや事前学習を必要とせず、SVHN、CIFAR-10、CIFAR-100で最先端の性能を達成している。半教師あり設定では一貫性正則化ベースラインを上回り、無作為なラベルデータが存在しない状況でも教師あり精度が向上している。

ABSTRACT

Recent advances in semi-supervised learning have shown tremendous potential in overcoming a major barrier to the success of modern machine learning algorithms: access to vast amounts of human-labeled training data. Previous algorithms based on consistency regularization can harness the abundance of unlabeled data to produce impressive results on a number of semi-supervised benchmarks, approaching the performance of strong supervised baselines using only a fraction of the available labeled data. In this work, we challenge the long-standing success of consistency regularization by introducing self-supervised regularization as the basis for combining semantic feature representations from unlabeled data. We perform extensive comparative experiments to demonstrate the effectiveness of self-supervised regularization for supervised and semi-supervised image classification on SVHN, CIFAR-10, and CIFAR-100 benchmark datasets. We present two main results: (1) models augmented with self-supervised regularization significantly improve upon traditional supervised classifiers without the need for unlabeled data; (2) together with unlabeled data, our models yield semi-supervised performance competitive with, and in many cases exceeding, prior state-of-the-art consistency baselines. Lastly, our models have the practical utility of being efficiently trained end-to-end and require no additional hyper-parameters to tune for optimal performance beyond the standard set for training neural networks. Reference code and data are available at https://github.com/vuptran/sesemi

研究の動機と目的

• ラベルが少ない状況での一般化を向上させるために、自己教師あり正則化と教師あり学習を統合すること。
• 一貫性正則化の優位性に挑戦し、より単純でエンドツーエンドの代替手法を提示すること。
• 幾何変換からのプロキシラベルが、再構成に基づく自己教師あり学習よりも、下流の分類タスクにおいて効果的であることを示すこと。
• 追加のハイパーパrameterや事前学習ステップを必要とせずに、最先端の性能を達成すること。
• データが限られた状況での実世界への実装を念頭に、実用的で効率的かつスケーラブルな手法を提供すること。

提案手法

• モデルはマルチタスクアーキテクチャを採用し、メインヘッドがクラスラベルを予測し、自己教師ありブランチが同じ入力画像の幾何変換（回転および反転）を予測する。
• 各入力画像に対して、自己教師ありブランチは6つのプロキシラベルを生成する：0°、90°、180°、270°の回転、および水平・垂直反転。
• 全体の損失関数は、ラベル付きデータに対する標準的な交差エントロピーと、未ラベルデータに対する自己教師あり変換予測の交差エントロピーを組み合わせる。
• 標準的な最適化プロトコルを用いてエンドツーエンドで訓練され、標準的な学習設定を超える追加のハイパーパrameterは一切不要である。
• 既存のSSLフレームワークと互換性があり、Mean Teacher や MixMatch などのモデルに、一貫性ヘッドの代わりに統合可能である。
• 自己教師ありタスクは、画像幾何における不変性を活用することで、分離可能で意味的に意味のある特徴を学習するようモデルを促すように設計されている。

実験結果

リサーチクエスチョン

• RQ1 幾何変換予測による自己教師あり正則化は、半教師あり画像分類において従来の一貫性正則化を上回ることができるか？
• RQ2 自己教師あり正則化は、未ラベルデータが存在しない状況でも教師あり性能を向上させるか？
• RQ3 再構成、穴埋め、色付けよりも、幾何変換予測が半教師あり学習におけるプロキシラベルタスクとしてより効果的か？
• RQ4 自己教師あり正則化は、モデルの複雑さやハイパーパrameterチューニングを増加させることなく、既存のSSLフレームワークに統合可能か？
• RQ5 特に誤差特徴が存在する状況において、自己教師あり信号と教師あり信号が低データ環境でどのように相互作用するか？

主な発見

• SESEMIは、追加のハイパーパrameterを必要とせず、SVHN、CIFAR-10、CIFAR-100の両教師ありおよび半教師あり設定で最先端の性能を達成した。
• CIFAR-10では、回転と反転予測を組み合わせたことで、回転のみの自己教師あり学習に比べて性能が8.2%向上し、再構成、穴埋め、色付けタスクを上回った。
• 未ラベルデータが存在しない状況でも、教師あり精度が顕著に向上し、自己教師あり正則化が正則化子としての価値を持つことを示した。
• 半教師あり学習において、SESEMIはCIFAR-100（ラベル付き例がたった250例）を含む複数のベンチマークで、従来の一貫性ベースのベースラインを上回った。
• 自己教師ありブランチは、顕著でクラス関連の特徴を学習する際に最も効果的であるが、SVHNでは誤差となる数字が変換予測に干渉し、性能が低下した。
• 本手法はエンドツーエンドで訓練可能であり、Mean Teacher や MixMatch などの既存のSSLフレームワークとも互換性があるため、統合可能でさらなる向上が期待できる。