[論文レビュー] EnAET: Self-Trained Ensemble AutoEncoding Transformations for Semi-Supervised Learning.

Xiao Wang, Daisuke Kihara+2 more|arXiv (Cornell University)|Nov 21, 2019

Domain Adaptation and Few-Shot Learning参考文献 16被引用数 33

ひとこと要約

EnAET は、空間的および非空間的データ拡張を活用して、半教師あり学習を向上させる自己学習型アンサンブルの自己符号化変換を提案する。多様な変換を復号することで頑健な表現を学習することにより、EnAET は最先端の性能を達成し、CIFAR-10 で 1.99% の誤差、STL10 で 4.52% の誤差を記録し、同じアーキテクチャを用いた完全教師ありモデルをも上回る。

ABSTRACT

Deep neural networks have been successfully applied to many real-world applications. However, these successes rely heavily on large amounts of labeled data, which is expensive to obtain. Recently, Auto-Encoding Transformation (AET) and MixMatch have been proposed and achieved state-of-the-art results for unsupervised and semi-supervised learning, respectively. In this study, we train an Ensemble of Auto-Encoding Transformations (EnAET) to learn from both labeled and unlabeled data based on the embedded representations by decoding both spatial and non-spatial transformations. This distinguishes EnAET from conventional semi-supervised methods that focus on improving prediction consistency and confidence by different models on both unlabeled and labeled examples. In contrast, we propose to explore the role of self-supervised representations in semi-supervised learning under a rich family of transformations. Experiment results on CIFAR-10, CIFAR-100, SVHN and STL10 demonstrate that the proposed EnAET outperforms the state-of-the-art semi-supervised methods by significant margins. In particular, we apply the proposed method to extremely challenging scenarios with only 10 images per class, and show that EnAET can achieve an error rate of 9.35% on CIFAR-10 and 16.92% on SVHN. In addition, EnAET achieves the best result when compared with fully supervised learning using all labeled data with the same network architecture. The performance on CIFAR-10, CIFAR-100 and SVHN with a smaller network is even more competitive than the state-of-the-art of supervised learning methods based on a larger network. We also set a new performance record with an error rate of 1.99% on CIFAR-10 and 4.52% on STL10. The code and experiment records are released at this https URL.

研究の動機と目的

• ディープラーニングにおけるラベル付きデータの高コストを軽減するため、半教師あり学習の性能を向上させること。
• 豊富なデータ変換の族から導出される自己教師あり表現の役割を調査すること。
• ラベル付きおよびラベルなしデータを併用して表現学習と予測の一貫性を同時に最適化する手法を開発すること。
• 極度のデータ不足、例えばクラスあたりたった 10 枚のラベル付き画像での状況でも優れた性能を達成すること。
• 既存の半教師あり手法だけでなく、同じネットワークアーキテクチャを用いた完全教師ありモデルをも上回ること。

提案手法

• EnAET は、入力データの空間的および非空間的変換を再構築するアンサンブル型オートエンコーダーを訓練する。
• 同じ入力に適用された変換を復号することで共有表現を学習し、特徴の頑健性を向上させる。
• 変換の一貫性を通じて、ラベル付きデータにおける教師あり学習と、ラベルなしデータにおける自己教師ありコントラスト学習を統合する。
• 複数の変換を活用することでデータの多様性を高め、一般化性能を向上させる。
• 最終的な予測は、自己符号化ヘッドのアンサンブルを用いることで、不確実性推定と頑健性を向上させる。
• 再構築損失と一貫性正則化の組み合わせを用いて、エンド・ツー・エンドでフレームワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 多様な変換を介して学習された自己教師あり表現は、半教師あり学習の性能を向上させることができるか？
• RQ2 EnAET は、クラスあたり 10 枚の画像という極度のラベル不足下でも性能を発揮するか？
• RQ3 EnAET は、同じモデルアーキテクチャを用いた完全教師あり学習を上回ることができるか？
• RQ4 空間的および非空間的変換の両方を用いることで、従来の手法よりも優れた表現学習が達成できるか？
• RQ5 少量のラベル付き例のみを用いた半教師あり学習の性能上限は何か？

主な発見

• EnAET は、CIFAR-10 で 1.99% の誤差を記録し、これまでの最先端手法を上回る新しい最先端の誤差率を達成した。
• STL10 では 4.52% の誤差を記録し、新しい記録を樹立し、強力な一般化性能を示した。
• クラスあたりたった 10 枚のラベル付き画像での条件下でも、CIFAR-10 で 9.35% の誤差、SVHN で 16.92% の誤差を達成し、既存手法を著しく上回った。
• CIFAR-10、CIFAR-100、SVHN において、同じネットワークアーキテクチャで訓練した場合、EnAET は完全教師あり学習を上回った。
• より小さなネットワークでも競争力のある結果を達成し、より大きなアーキテクチャで訓練された最先端の教師あり手法をも上回った。
• コードと実験結果は公開されており、再現性およびさらなる研究を支援する。