[논문 리뷰] A Survey of the Self Supervised Learning Mechanisms for Vision Transformers

Asifullah Khan, Anabia Sohail외 12명|arXiv (Cornell University)|2024. 08. 30.

Industrial Vision Systems and Defect Detection인용 수 6

한 줄 요약

본 조사 분류론은 Vision Transformers에 대한 SSL 방법을 분류하고, 사전 학습 작업, 비교, 도전과제 및 향후 방향을 고찰한다.

ABSTRACT

Advances in deep learning are re-defining how visual data is processed and understand by the machines. Vision Transformers (ViTs) have recently demonstrated prominent performance in computer vision related tasks. However, their performance improves with increasing numbers of labeled data, indicating reliance on labeled data. Humanly annotated data are difficult to acquire and thus shifted the focus from traditional annotations to unsupervised learning strategies that learn structures inside the data. In response to this challenge, self-supervised learning (SSL) has emerged as a promising technique. SSL utilize inherent relationships within the data as a form of supervision. This technique can reduce the dependence on manual annotations and offers a more scalable and resource-effective approach to training models. Taking these strengths into account, it is necessary to assess the combination of SSL methods with ViTs, especially in the cases of limited labeled data. Inspired by this evolving trend, this survey aims to systematically review SSL mechanisms tailored for ViTs. We propose a comprehensive taxonomy to classify SSL techniques based on their representations and pre-training tasks. Furthermore, we highlighted the motivations behind the study of SSL, reviewed prominent pre-training tasks, and highlight advancements and challenges in this field. Furthermore, we conduct a comparative analysis of various SSL methods designed for ViTs, evaluating their strengths, limitations, and applicability to different scenarios.

연구 동기 및 목표

• 자 unlabeled 데이터를 활용하고 사전학습을 향상시키기 위해 Vision Transformers (ViTs)에 대한 self-supervised learning (SSL)의 사용을 촉진한다.
• Representation 학습 방식에 따라 ViTs에 적용된 SSL 기법의 분류 체계를 제공한다.
• ViT SSL 성능에 영향을 주는 프리training 작업, 아키텍처 및 규제 기법을 검토한다.
• ViTs를 위한 SSL 방법의 이점, 한계 및 인용을 평가하고 향후 연구 방향을 제시한다.

제안 방법

• ViTs를 위한 SSL 접근법의 다섯 그룹 분류 체계 개발: Contrastive, Generative, Clustering, Knowledge Distillation, 및 Hybrid SSL.
• CNN에서 ViTs로의 SSL 역사적 진화를 검토하고 ViTs에서 SSL의 관련성을 설명한다.
• ViTs 및 다운스트림 작업 전반에서 효과적인 주요 프리텍스트 작업을 논의한다.
• Masked Image Modeling (MIM) 및 cross-covariance 기반 방법과 같은 아키텍처 설계 및 학습 전략을 요약한다.
• 데이터 효율성 및 강건성의 트레이드오프를 강조하기 위해 SSL과 transfer learning을 비교한다.

실험 결과

연구 질문

• RQ1 ViTs를 위해 제안된 SSL 메커니즘은 무엇이며 표현과 프리트레이닝 작업에서 어떻게 다르게 작용하는가?
• RQ2 다섯 가지 SSL 범주 (contrastive, generative, clustering, knowledge distillation, hybrid)가 ViTs에 어떻게 적용되며 강점/약점은 무엇인가?
• RQ3 ViTs의 SSL에서 주요 도전과제와 향후 문제점은 무엇이며 어떤 방향이 있는가?
• RQ4 ViTs에 대한 SSL 방법은 데이터 효율성 및 전이성 측면에서 transfer learning과 어떻게 비교되는가?

주요 결과

• SSL은 ViTs가 대규모 비표지 데이터셋을 활용한 강건한 표현을 가능하게 한다.
• Masked Image Modeling (MIM) 접근법인 MAE와 SimMIM은 ViTs에서 지배적인 위치를 차지하게 되었다.
• Cross-covariance 기반 방법인 VICReg 및 Barlow Twins는 안정적인 표현 학습을 제공하고 붕괴를 감소시킨다.
• 지식 증류 기반 SSL 방법(DINO, MoBY)은 네트워크 간의 상호 학습을 개선하고 효율적인 사전학습을 가능하게 한다.
• Clustering 기반 SSL( SwAV, DeepCluster )은 희소 예측 작업에 이점을 가진 의미적 그룹화를 제공한다.
• 이 조사는 작업의 유사성, 데이터 가용성 및 레이블 희소성에 따라 SSL과 transfer learning 사이의 트레이드오프를 강조한다.