[論文レビュー] An Overview of Deep Semi-Supervised Learning

Yassine Ouali, Céline Hudelot+1 more|arXiv (Cornell University)|Jun 9, 2020

Domain Adaptation and Few-Shot Learning参考文献 183被引用数 243

ひとこと要約

この論文は深層半教師あり学習（SSL）の包括的な調査を提供し、主要なSSLカテゴリー、コア前提、評価実践、および関連トピックとの関連を概説します。

ABSTRACT

Deep neural networks demonstrated their ability to provide remarkable performances on a wide range of supervised learning tasks (e.g., image classification) when trained on extensive collections of labeled data (e.g., ImageNet). However, creating such large datasets requires a considerable amount of resources, time, and effort. Such resources may not be available in many practical cases, limiting the adoption and the application of many deep learning methods. In a search for more data-efficient deep learning methods to overcome the need for large annotated datasets, there is a rising research interest in semi-supervised learning and its applications to deep neural networks to reduce the amount of labeled data required, by either developing novel methods or adopting existing semi-supervised learning frameworks for a deep learning setting. In this paper, we provide a comprehensive overview of deep semi-supervised learning, starting with an introduction to the field, followed by a summarization of the dominant semi-supervised approaches in deep learning.

研究の動機と目的

• 深層SSLの動機とデータ効率性の目的を説明する。
• 深層ニューラルネットワークとともに用いられる支配的なSSLアプローチを要約する。
• SSL手法の基盤となる主な前提とその含意を明確にする。
• SSL研究の評価実践と現実的なベースラインについて議論する。
• active learning、transfer learning、domain adaptationなどの関連分野への接続を概説する。

提案手法

• SSL手法を大きなカテゴリに分類する：consistency regularization、proxy-label methods、generative models、and graph-based approaches.
• transductive vs inductive learning paradigmsとそれらのSSLへの関連性を説明する。
• Ladder Networks、Pi-Model、Temporal Ensembling、Mean Teacher、Dual Students、SWA/fast-SWA、Virtual Adversarial Training (VAT)を含む代表的なSSL技術を詳述する。
• 教師なしの一貫性損失とラベル付きデータの教師あり損失を結びつけるコア目的関数の定式化を説明する。
• 公平な比較と現実的なSSLベンチマークの評価推奨を要約する。

実験結果

リサーチクエスチョン

• RQ1 深層SSLの主要なアプローチは何であり、それらは概念的・技術的にどのように異なるのか。
• RQ2 深層学習におけるSSL手法の有効性はどのような前提に基づき、いつ成り立つのか。
• RQ3 SSL手法を公平な比較と現実的な関連性を確保するためにはどう評価すべきか。
• RQ4 SSL技術はactive learning、transfer learning、domain adaptationなどの関連領域とどのように関連し、統合されるのか。

主な発見

• SSL手法は unlabeled data を活用してトレーニングを正則化し、クラスタ、スムージング、マンifold の前提の下で意思決定境界を改善する。
• 一連の技術が存在し（consistency regularization、proxy labeling、generative、graph-based）、inductiveおよびtransductiveのバリアントがある。
• 代表的な手法（Ladder Networks、Pi-Model、Temporal Ensembling、Mean Teacher、Dual Students、SWA、VAT）は、一貫性とteacher-studentフレームワークを通じて unlabeled data を活用する方法を示している。
• 評価のベストプラクティスには、共有実装、強力な教師ありベースライン、転移学習との比較、クラス分布の不一致やデータ分割の考慮が含まれる。
• 本調査はSSLをactive learning、transfer learning、domain adaptation、weakly-supervised learningと結びつけ、ノイズ付きラベルやデータ品質といった実践的な考慮事項を強調している。