[論文レビュー] A Survey of the Self Supervised Learning Mechanisms for Vision Transformers

Asifullah Khan, Anabia Sohail+12 more|arXiv (Cornell University)|Aug 30, 2024

Industrial Vision Systems and Defect Detection被引用数 6

ひとこと要約

この調査は Vision Transformers の SSL 手法を分類し、事前学習タスク、比較、課題、今後の方向性をレビューする。

ABSTRACT

Advances in deep learning are re-defining how visual data is processed and understand by the machines. Vision Transformers (ViTs) have recently demonstrated prominent performance in computer vision related tasks. However, their performance improves with increasing numbers of labeled data, indicating reliance on labeled data. Humanly annotated data are difficult to acquire and thus shifted the focus from traditional annotations to unsupervised learning strategies that learn structures inside the data. In response to this challenge, self-supervised learning (SSL) has emerged as a promising technique. SSL utilize inherent relationships within the data as a form of supervision. This technique can reduce the dependence on manual annotations and offers a more scalable and resource-effective approach to training models. Taking these strengths into account, it is necessary to assess the combination of SSL methods with ViTs, especially in the cases of limited labeled data. Inspired by this evolving trend, this survey aims to systematically review SSL mechanisms tailored for ViTs. We propose a comprehensive taxonomy to classify SSL techniques based on their representations and pre-training tasks. Furthermore, we highlighted the motivations behind the study of SSL, reviewed prominent pre-training tasks, and highlight advancements and challenges in this field. Furthermore, we conduct a comparative analysis of various SSL methods designed for ViTs, evaluating their strengths, limitations, and applicability to different scenarios.

研究の動機と目的

• Vision Transformers (ViTs) の自己教師あり学習（SSL）を活用してラベルなしデータを活用し事前学習を改善する動機付け。
• 表現学習の方法に基づいて ViTs に適用された SSL 技術の分類法を提供する。
• ViT の SSL パフォーマンスに影響を与える事前学習タスク、アーキテクチャ、および正則化技術をレビューする。
• ViTs の SSL メソッドの利点、制限、および Citations（引用）を評価し、今後の研究方向性を outline する。

提案手法

• ViTs の SSL アプローチを五つのグループに分類する: コントラスト学習、生成、クラスタリング、知識蒸留、ハイブリッド SSL。
• CNN から ViTs への SSL の歴史的進化を調査し、ViTs における SSL の関連性を説明する。
• 主要な前処理タスクと ViTs および下流タスクでの有効性を議論する。
• Masked Image Modeling (MIM) やクロス共分散ベースの手法など、アーキテクチャ設計とトレーニング戦略を要約する。
• SSL を転移学習と比較して、データ効率と頑健性のトレードオフを強調する。

実験結果

リサーチクエスチョン

• RQ1 ViTs のために提案された SSL メカニズムは何で、それらは表現と事前学習タスクでどのように異なるのか？
• RQ2 5つの SSL カテゴリ（コントラスト、生成、クラスタリング、知識蒸馏、ハイブリッド）は ViTs にどのように適用され、それぞれの長所と短所は何か？
• RQ3 ViTs の SSL における主要な課題と未解決の問題、および今後の方向性は？
• RQ4 データ効率と転移性の点で ViTs への SSL 手法は転移学習と比較してどうか？

主な発見

• SSL は ViTs が大規模なラベルなしデータセットを活用して頑健な表現を得ることを可能にする。
• MAE や SimMIM のような Masked Image Modeling（MIM）アプローチは ViTs にとって支配的になっている。
• VICReg や Barlow Twins のようなクロス共分散ベースの手法は安定した表現学習を提供し、崩壊を減らす。
• 知識蒸留ベースの SSL 手法（例：DINO、MoBY）はネットワーク間の相互学習を改善し、効率的な事前学習を可能にする。
• クラスタリングベースの SSL（例：SwAV、DeepCluster）は意味的なグルーピングを提供し、密な予測タスクに有益。
• この調査は、タスクの類似性、データの可用性、ラベルの欠如の程度に応じた SSL と転移学習のトレードオフを強調する。