[논문 리뷰] A Simple Framework for Contrastive Learning of Visual Representations

Ting Chen, Simon Kornblith외 2명|arXiv (Cornell University)|2020. 02. 13.

Domain Adaptation and Few-Shot Learning참고 문헌 60인용 수 7,315

한 줄 요약

한 줄 요약: SimCLR은 대조 손실, 강력한 데이터 증강, 비선형 투사 헤드, 대규모 배치 학습을 활용한 자기지도 시각 표현 학습의 간단하고 확장 가능한 프레임워크를 제시하며, 특수한 아키텍처나 메모리 뱅크 없이 이미지넷에서 선형 평가 최첨단 성능을 달성한다.

ABSTRACT

This paper presents SimCLR: a simple framework for contrastive learning of visual representations. We simplify recently proposed contrastive self-supervised learning algorithms without requiring specialized architectures or a memory bank. In order to understand what enables the contrastive prediction tasks to learn useful representations, we systematically study the major components of our framework. We show that (1) composition of data augmentations plays a critical role in defining effective predictive tasks, (2) introducing a learnable nonlinear transformation between the representation and the contrastive loss substantially improves the quality of the learned representations, and (3) contrastive learning benefits from larger batch sizes and more training steps compared to supervised learning. By combining these findings, we are able to considerably outperform previous methods for self-supervised and semi-supervised learning on ImageNet. A linear classifier trained on self-supervised representations learned by SimCLR achieves 76.5% top-1 accuracy, which is a 7% relative improvement over previous state-of-the-art, matching the performance of a supervised ResNet-50. When fine-tuned on only 1% of the labels, we achieve 85.8% top-5 accuracy, outperforming AlexNet with 100X fewer labels.

연구 동기 및 목표

• 감독 학습 레이블 없이도 효과적인 자기지도 시각 표현의 필요성 제시.
• 대조 프레임워크의 어떤 구성 요소가 고품질 표현을 가능하게 하는지 체계적으로 연구.
• 데이터 증강, 비선형 투사 헤드, 학습 역학이 성능에 미치는 영향 분석.
• 대규모 배치 크기와 더 긴 학습이 감독 학습에 비해 대조 학습을 어떻게 개선하는지 Demonstrate.
• 자기지도, 반지도 지도, 지도 학습 기준선들을 ImageNet 및 전이 데이터셋에서 비교하는 실증적 증거 제시

제안 방법

• 네 가지 구성 요소로 간단한 대조 프레임워크(SimCLR) 정의: 확률적 데이터 증강, 기본 인코더 f(·), 비선형 투사 헤드 g(·), 대조 손실(NT-Xent).
• 무작위 증강을 통해 각 예제의 두 상관된 뷰를 사용하고, 코사인 유사도와 온도 매개변수 τ를 사용하여 투영 표현 z_i와 z_j 간의 일치를 최대화한다.
• 투사 공간에 표현을 매핑하기 위해 비선형 투사 헤드(작은 MLP)를 도입하고, 아이덴티티나 선형 투영에 비해 이점이 있음을 애블레이션으로 보인다.
• 메모리 뱅크 없이 대규모 배치 크기(256–8192)로 학습하고, LARS 옵티마이저 및 장치 간 동기화 배치 정규화를 사용하며, 고정된 표현에 대한 선형 분류기를 사용한 선형 평가 프로토콜로 평가한다.
• 데이터 증강, 투사 헤드 아키텍처, 손실 함수, 배치 크기, 학습 길이를 체계적으로 제거(ablate)하여 성능에 영향을 주는 요인을 식별한다.

실험 결과

연구 질문

• RQ1 대조 학습을 위한 가장 정보성이 높은 예측 작업을 만들어내는 데이터 증강 조합은 무엇인가?
• RQ2 비선형 투사 헤드가 인코더 출력 직접 사용에 비해 다운스트림 표현 품질을 개선하는가?
• RQ3 배치 크기, 학습 기간, 최적화 선택이 감독 학습에 비해 대조 학습 성능에 어떤 영향을 미치는가?
• RQ4 이 프레임워크에서 대조 학습에 적합한 최적의 손실 함수와 정규화/온도 설정은 무엇인가?
• RQ5 학습된 표현이 다운스트리밍 인식 작업 및 데이터셋으로 어떻게 전이되는가?

주요 결과

방법	아키텍처	매개변수(백만)	Top 1	Top 5
Local Agg.	ResNet-50	24	60.2	-
MoCo	ResNet-50	24	60.6	-
PIRL	ResNet-50	24	63.6	-
CPC v2	ResNet-50	24	63.8	85.3
SimCLR (ours)	ResNet-50	24	69.3	89.0
SimCLR (ours)	ResNet-50 (2×)	94	74.2	92.0
SimCLR (ours)	ResNet-50 (4×)	375	76.5	93.2

• 데이터 증강의 구성은 결정적이며, 무작위 자르기(Random Cropping)와 색상 왜곡(Color Distortion)이 단일 증강보다 표현을 크게 개선한다.
• 인코더 위에 비선형 투사 헤드(z = g(h))를 두면 h 또는 선형 투영을 사용하는 것보다 선형 평가 정확도가 크게 개선되며, 투사 전 표현 h가 더 많은 작업 관련 정보를 보유한다.
• NT-Xent 손실에서 온도 매개변수 τ를 적절히 조정하고 코사인 유사도를 사용하는 것이 성능에 중요하며, 다른 대안보다 성능이 우수하다.
• 더 큰 배치 크기와 더 긴 학습은 더 많은 음성(negative) 샘플을 제공하고 수렴을 개선하며, 대조 학습은 규모의 이점으로 감독 학습보다 더 큰 이익을 얻는다.
• SimCLR은 ResNet-50(4x 너비)로 선형 평가 시 ImageNet에서 상위1% 정확도 76.5%를 달성하고 감독 학습 ResNet-50 성능과 일치한다; 1% 레이블(미세조정)에서 상위-5가 85.8%까지 향상되며 전이 및 기타 데이터셋에서도 경쟁력 있거나 우수한 성능을 보인다.