[論文レビュー] A Survey on Deep Semi-supervised Learning

Xiangli Yang, Zixing Song+2 more|arXiv (Cornell University)|Feb 28, 2021

Multimodal Machine Learning Applications参考文献 307被引用数 33

ひとこと要約

本調査は深層半教師付き学習（DSSL）手法を分類・レビューし、5つの主要なカテゴリと52の代表的手法を網羅し、課題と今後の方向性について論じる。

ABSTRACT

Deep semi-supervised learning is a fast-growing field with a range of practical applications. This paper provides a comprehensive survey on both fundamentals and recent advances in deep semi-supervised learning methods from perspectives of model design and unsupervised loss functions. We first present a taxonomy for deep semi-supervised learning that categorizes existing methods, including deep generative methods, consistency regularization methods, graph-based methods, pseudo-labeling methods, and hybrid methods. Then we provide a comprehensive review of 52 representative methods and offer a detailed comparison of these methods in terms of the type of losses, contributions, and architecture differences. In addition to the progress in the past few years, we further discuss some shortcomings of existing methods and provide some tentative heuristic solutions for solving these open problems.

研究の動機と目的

• 深層半教師付き学習（DSSL）の基礎理論と最近の進展を要約する。
• DSSL手法の分類体系を提供し、代表的な手法をカテゴリにマップする。
• 損失の種類、アーキテクチャ、貢献によって手法を比較する。
• 未解決の問題を特定し、今後の研究のヒューリスティックな方向性を提案する。

提案手法

• DSSL手法の分類法を提案する：生成的、整合性正則化、グラフベース、疑似ラベリング、およびハイブリッド手法。
• これらのカテゴリにわたる52の代表的手法を調査し、損失、アーキテクチャ、貢献を比較する。
• DSSLを前進させるための未解決の問題とヒューリスティック解法を議論する。
• 議論を支える背景、前提、データセットをレビューする。
• 関連するパラダイムや視覚と自然言語処理の応用とのつながりを強調する。

実験結果

リサーチクエスチョン

• RQ1 深層半教師付き学習の主なカテゴリは何で、モデル設計と損失式によってどのように異なるのか？
• RQ2 代表的なDSSL手法は、損失、アーキテクチャの選択、実証的貢献の点でどう比較されるか？
• RQ3 DSSLの重要な未解決問題とそれに対処するためのもっともらしい方向性は何か？

主な発見

• DSSL手法は5つのカテゴリに分類される：生成的、整合性正則化、グラフベース、疑似ラベリング、ハイブリッド手法。
• 本調査は52の代表的なDSSL手法をレビューし、損失タイプとアーキテクチャを比較する。
• GANベースおよびVAEベースの生成法は、SSLのための未ラベルデータの活用において顕著である。
• 整合性正則化と疑似ラベリング戦略は、多くの現代的アプローチで有効と強調されている。
• 本論文は欠点を論じ、将来の研究に向けたヒューリスティックな方向性を提案する。