[논문 리뷰] Know Your Self-supervised Learning: A Survey on Image-based Generative and Discriminative Training

Utku Özbulak, Hyun‐Jung Lee외 6명|arXiv (Cornell University)|2023. 05. 23.

Domain Adaptation and Few-Shot Learning인용 수 13

한 줄 요약

본 조사는 이미지 기반 자가지도 학습(SSL)을 검토하며, 생성적 및 판별적 접근, 프리텍스트 작업, 핵심 개념, 프레임워크, 평가, 라이브러리 및 향후 방향을 다룬다.

ABSTRACT

Although supervised learning has been highly successful in improving the state-of-the-art in the domain of image-based computer vision in the past, the margin of improvement has diminished significantly in recent years, indicating that a plateau is in sight. Meanwhile, the use of self-supervised learning (SSL) for the purpose of natural language processing (NLP) has seen tremendous successes during the past couple of years, with this new learning paradigm yielding powerful language models. Inspired by the excellent results obtained in the field of NLP, self-supervised methods that rely on clustering, contrastive learning, distillation, and information-maximization, which all fall under the banner of discriminative SSL, have experienced a swift uptake in the area of computer vision. Shortly afterwards, generative SSL frameworks that are mostly based on masked image modeling, complemented and surpassed the results obtained with discriminative SSL. Consequently, within a span of three years, over $100$ unique general-purpose frameworks for generative and discriminative SSL, with a focus on imaging, were proposed. In this survey, we review a plethora of research efforts conducted on image-oriented SSL, providing a historic view and paying attention to best practices as well as useful software packages. While doing so, we discuss pretext tasks for image-based SSL, as well as techniques that are commonly used in image-based SSL. Lastly, to aid researchers who aim at contributing to image-focused SSL, we outline a number of promising research directions.

연구 동기 및 목표

• 생성적 및 판별적 방법에 걸친 이미지 기반 SSL의 역사적‧기술적 개요를 제공한다.
• 이미지용 SSL에서 사용되는 인기 있는 프리텍스트 작업과 일반적인 기술 개념을 요약한다.
• 최근 SSL 프레임워크와 그 평가 방법론을 연대기적으로 정리한다.
• SSL 구현을 위한 라이브러리, 데이터셋 및 실용적 고려사항을 강조한다.
• 이미지 기반 SSL의 한계와 미해결 문제를 식별하여 향후 연구를 안내한다.

제안 방법

• SSL을 생성적 프레임워크와 판별적 프레임워크로 분류하고 각 목표를 논의한다.
• 대중적인 이미지 기반 프리텍스트 작업들(컬러화, 인페인팅, 기하학적 변환, 퍼즐 해결, 인스턴스 판별, 마스킹된 이미지 모델링)과 이들의 SSL 목표와의 관계를 설명한다.
• 주요 아키텍처 패턴(Siamese 네트워크, stop-grad, 지연 가중치 업데이트, 투영/예측 MLPs) 및 SSL 방법 전반에서 사용되는 손실 함수(InfoNCE, 코사인 유사도, MSE, MAE, VICReg, 정보-maximization)를 제시한다.
• SSL의 학습/평가 패러다임을 설명하며, 백본 전처리(프리트레이닝) 후 선형 평가, 메모리 뱅크, 의사레이블링, 증류의 역할을 포함한다.
• SSL에서 비전 트랜스포머(ViT)에 대한 개요와 MIM 및 기타 생성적 작업이 트랜스포머 기반 백본과 어떻게 통합되는지 설명한다.

실험 결과

연구 질문

• RQ1 SSL에서 유용한 이미지 표현을 학습하기 위한 가장 효과적인 프리텍스트 작업은 무엇인가?
• RQ2 생성적 SSL(예: 마스킹된 이미지 모델링)과 판별적 SSL(예: 대조 학습, 클러스터링, 증류)이 목표, 손실, 아키텍처에서 어떻게 다른가?
• RQ3 이미지용 견고한 SSL을 가능하게 하는 일반적인 손실, 아키텍처 및 훈련 요령은 무엇인가?
• RQ4 이미지 기반 SSL 연구 및 응용을 지원하는 프레임워크, 라이브러리 및 구현은 무엇인가?
• RQ5 이미지 기반 SSL의 현재 한계와 미해결 문제 및 향후 연구를 위한 유망한 방향은 무엇인가?

주요 결과

• 최근 수년 간 100개가 넘는 일반 목적의 이미지 중심 SSL 프레임워크가 제안되었으며, 생성적 및 판별적 접근을 포괄한다.
• 생성적 SSL은 특히 마스킹된 이미지 모델링이 강력한 패러다임으로 부상하여 표현 학습에서 전통적 구별적 방법을 능가할 수 있다.
• 구별적 SSL은 종종 인스턴스 구분, 대조 손실, 군집화 기반 또는 증류 기반 전략에 의존하여 강건한 특징을 학습한다.
• 다양한 프리텍스트 작업이 SSL의 기반이며, 특정 작업(예: MIM)이 생성적 SSL의 진보를 주도한다.
• Siamese 아키텍처, stop-gradient, 모멘텀/교사 업데이트, 프로젝션/예측자 MLP, 메모리 뱅크, 의사레이블링과 같은 학습 방법이 SSL 프레임워크 전반에서 중요한 역할을 한다.
• 이 연구는 평가 프로토콜, 기존 라이브러리와 저장소를 다루며 이미지 기반 SSL의 미해결 문제와 향후 연구 방향을 강조한다.