[논문 리뷰] A Survey on Self-supervised Learning: Algorithms, Applications, and Future Trends

Jie Gui, Tuo Chen외 5명|arXiv (Cornell University)|2023. 01. 13.

Text and Document Classification Technologies인용 수 22

한 줄 요약

Self-supervised learning (SSL)의 알고리즘(context-based, contrastive, generative), 응용, 트렌드 및 남은 질문에 대한 포괄적 리뷰로 CV 및 CV-인접 연구에 초점을 맞춤.

ABSTRACT

Deep supervised learning algorithms typically require a large volume of labeled data to achieve satisfactory performance. However, the process of collecting and labeling such data can be expensive and time-consuming. Self-supervised learning (SSL), a subset of unsupervised learning, aims to learn discriminative features from unlabeled data without relying on human-annotated labels. SSL has garnered significant attention recently, leading to the development of numerous related algorithms. However, there is a dearth of comprehensive studies that elucidate the connections and evolution of different SSL variants. This paper presents a review of diverse SSL methods, encompassing algorithmic aspects, application domains, three key trends, and open research questions. Firstly, we provide a detailed introduction to the motivations behind most SSL algorithms and compare their commonalities and differences. Secondly, we explore representative applications of SSL in domains such as image processing, computer vision, and natural language processing. Lastly, we discuss the three primary trends observed in SSL research and highlight the open questions that remain. A curated collection of valuable resources can be accessed at https://github.com/guijiejie/SSL.

연구 동기 및 목표

• SSL의 동기와 정의, 그리고 그것이 감독 학습(supervised) 및 비지도 학습(unsupervised)과 어떻게 다른지 설명합니다.
• 대표적인 SSL의 프리텍스트(pretext) 작업과 그것들이 더 넓은 학습 패러다임과 연결되는 방식을 조사합니다.
• 대조적(contrastive), 생성적(generative), 그리고 상관 제거 기반(de-correlation) SSL 방법과 그 이론적 기초를 요약합니다.
• 비전과 언어에서의 핵심 응용을 강조하고 떠오르는 트렌드와 남은 질문을 논의합니다.

제안 방법

• SSL을 context-based(맥락 기반), contrastive learning(대조 학습), generative(MIM) 및 feature-decorrelation(특징 상관 제거) 접근법으로 분류합니다.
• 회전, 색상화, 직소 퍼즐(jigsaw)과 같은 고전적 프리텍스트 작업과 그것들이 어떻게 자기감독 신호를 생성하는지 설명합니다.
• 양의/음의 쌍 및 InfoNCE와 같은 손실 형식을 포함하여 MoCo, SimCLR, BYOL, SimSiam, SwAV와 같은 대조 학습 프레임워크를 설명합니다.
• 생성적 마스킹 이미지 모델링(MIM) 방법들(BEiT, MAE, CAE, SimMIM)과 이들이 잡음 제거 자동인코더와의 관계를 자세히 설명합니다.
• SSL의 PCA, 스펙트럴 클러스터링 및 지도 학습 결과와의 이론적 연결을 논의합니다.
• 데이터 증강, Siamese 아키텍처, 음의 쌍과 음의 없는(negative-free) 접근의 역할을 다룹니다.

실험 결과

연구 질문

• RQ1 주요 SSL 패러다임은 무엇이며 핵심 메커니즘은 무엇이고 언제 가장 효과적입니까?
• RQ2 프리텍스트 작업이 CV와 NLP의 다운스트림 작업에 유용한 표현으로 어떻게 변환됩니까?
• RQ3 대조적 SSL의 성공에 대한 이론적 설명은 무엇이며 PCA 및 스펙트럴 클러스터링과 어떻게 관련되나요?
• RQ4 응용 전반에 걸친 SSL의 남은 연구 질문과 향후 방향은 무엇입니까?
• RQ5 데이터 증강 및 모델 아키텍처가 SSL 성능에 어떤 영향을 미칩니까?

주요 결과

• SSL은 대량의 라벨이 없는 데이터를 활용하여 다운스트림 작업으로 전이되는 식별 가능한 특징을 학습합니다.
• 대조 학습 방법(MoCo, SimCLR)은 양의/음의 쌍과 강력한 데이터 증강에 의존하여 뷰 일관성을 최대화합니다.
• 음의 없는 방법(BYOL, SimSiam)과 특징 상관 제거(Barlow Twins, VICReg)는 명시적 음수 없이도 대체 SSL 경로를 제공합니다.
• 생성적/마스킹 이미지 모델링(MIM) 방법들(BEiT, MAE, CAE, SimMIM)은 패치 수준의 맥락을 활용하여 강한 표현을 드러냅니다.
• 논문은 SSL의 PCA 및 스펙트럴 클러스터링에 대한 이론적 연결을 논의하고 다운스트림 전이에서 데이터 증강과 작업 설계의 역할을 강조합니다.
• 개방형 질문에는 모달리티 간 SSL 동역학 이해, 밀집 예측을 위한 작업 설계 개선 및 이론적 기초 다듬기가 포함됩니다.