[論文レビュー] Semi-Supervised and Unsupervised Deep Visual Learning: A Survey

Yanbei Chen, Massimiliano Mancini+2 more|arXiv (Cornell University)|Aug 24, 2022

Domain Adaptation and Few-Shot Learning被引用数 9

ひとこと要約

本調査では、最先端の半教師ありおよび教師なし深層視覚学習手法の統一的分類体系を提示し、多様なコンピュータビジョンタスクにおける設計根拠を分析している。ラベルなしデータを活用して表現学習とモデル一般化を向上させるための高度な深層学習アルゴリズムをレビューし、自己教師あり技術、マルチモーダル学習、継続的およびオープンセット学習の文脈における新たな課題を強調している。

ABSTRACT

State-of-the-art deep learning models are often trained with a large amount of costly labeled training data. However, requiring exhaustive manual annotations may degrade the model's generalizability in the limited-label regime. Semi-supervised learning and unsupervised learning offer promising paradigms to learn from an abundance of unlabeled visual data. Recent progress in these paradigms has indicated the strong benefits of leveraging unlabeled data to improve model generalization and provide better model initialization. In this survey, we review the recent advanced deep learning algorithms on semi-supervised learning (SSL) and unsupervised learning (UL) for visual recognition from a unified perspective. To offer a holistic understanding of the state-of-the-art in these areas, we propose a unified taxonomy. We categorize existing representative SSL and UL with comprehensive and insightful analysis to highlight their design rationales in different learning scenarios and applications in different computer vision tasks. Lastly, we discuss the emerging trends and open challenges in SSL and UL to shed light on future critical research directions.

研究の動機と目的

• コンピュータビジョンにおける半教師ありおよび教師なし深層視覚学習の最新進展を包括的かつ体系的にレビューすること。
• 教師あり学習の限界、たとえばラベル付けコストの高さ、ラベルバイアスおよびデータ記憶による一般化性能の低下を是正すること。
• 半教師あり、教師なし、自己教師あり学習といった異なる枠組みを、視覚表現学習の共通フレームワークの下で統合すること。
• 対照的学習、偽ラベル化、マルチモーダル自己教師あり学習といった主要な手法的トレンドを特定・分析すること。
• 継続的学習、データ分布の変化、マルチモーダル学習における意味的ギャップといった未解決課題を浮き彫りにすること。

提案手法

• 学習目的、監視信号、アーキテクチャ設計に基づいてSSLおよびUL手法を分類する統一的分類体系を提案する。
• 一貫性学習、偽ラベル化、対照的学習、自己教師あり事前学習といったカテゴリに分類する。
• 共同最適化における非教師あり損失関数（例：対照的損失、インスタンス識別）と教師あり損失項の使用を分析（式1）。
• 視覚言語や音声視覚の対応関係を用いたマルチモーダルアプローチをレビューし、手動ラベルなしで自己教師あり信号を生成する。
• ストリーミングおよびオープンセット学習の設定を検討し、進化するデータ分布に対応するためのオンラインクラスタリングおよび動的表現更新を分析する。
• 自己教師あり表現学習のための視覚言語モデル（例：CLIP、ALIGN）およびマルチモーダルトランスフォーマー（例：ViLBERT、LXMERT）の知見を統合する。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしの視覚データをどのように効果的に活用することで、低ショットおよびゼロショット学習の文脈におけるモデル一般化性能を向上させられるか？
• RQ2 半教師ありと教師なし深層視覚学習手法の核心的設計原則と相違点は何か？
• RQ3 自己教師ありの事前タスクと対照的学習は、人為的ラベルなしで頑健な視覚表現を学習するためにどのように寄与するか？
• RQ4 SSLおよびULをストリーミング、オープンセット、マルチモーダル学習の文脈に適用する際の主な課題は何か？
• RQ5 視覚言語や音声視覚といったマルチモーダル信号をどのように活用し、教師なし視覚表現学習のための効果的な自己教師あり信号を生成できるか？

主な発見

• 自己教師ありおよび教師なし学習手法は、大規模なラベルなしデータからの学習により、高コストなラベル付けに依存することを大幅に削減し、モデル一般化性能を著しく向上させる。
• 対照的学習とインスタンス識別は、自己教師あり手法の中で最も効果的なものであり、ImageNetにおいて完全教師ありモデルに近い性能を達成している。
• 視覚言語モデル（例：CLIP、ALIGN）は、画像とテキストの埋め込みを共通の潜在空間に整列させることで、下流タスクへのゼロショット転送を可能にする。
• マルチモーダル自己教師あり学習は、信号が整列している場合にはモダリティ間の意味的ギャップを低減するが、モダリティ相関の仮定が成り立たない場合には性能が低下する。
• ラベルなしデータからのオープンセット学習および継続的学習は、依然として困難であり、偽ラベル化におけるカスケード的忘却と確認バイアスが主な要因である。
• 本調査で提唱された統一的分類体系により、手法間の関係性の理解が深まり、スケーラブルな視覚表現学習分野における今後の研究を促進する。