[논문 리뷰] A simple, efficient and scalable contrastive masked autoencoder for learning visual representations

Shlok Mishra, Joshua A. Robinson외 5명|arXiv (Cornell University)|2022. 10. 30.

Domain Adaptation and Few-Shot Learning인용 수 12

한 줄 요약

CAN은 대조적 학습, 마스킹된 자동에코딩, 노이즈 제거 확산 목표를 결합한 단순하고 효율적이며 확장 가능한 자기지도 학습 방법이다. 양쪽 시각에서 50%의 패치를 마스킹하고 대조적, 재구성, 노이즈 예측 손실을 동시에 최적화함으로써, CAN은 ImageNet과 JFT-300M에서 최신 기준 성능을 달성하며, SimCLR에 비해 70% 낮은 FLOPs로 선형 프로브 및 피넷팅 평가에서 슈퍼리어한 성능을 보였다.

ABSTRACT

We introduce CAN, a simple, efficient and scalable method for self-supervised learning of visual representations. Our framework is a minimal and conceptually clean synthesis of (C) contrastive learning, (A) masked autoencoders, and (N) the noise prediction approach used in diffusion models. The learning mechanisms are complementary to one another: contrastive learning shapes the embedding space across a batch of image samples; masked autoencoders focus on reconstruction of the low-frequency spatial correlations in a single image sample; and noise prediction encourages the reconstruction of the high-frequency components of an image. The combined approach results in a robust, scalable and simple-to-implement algorithm. The training process is symmetric, with 50% of patches in both views being masked at random, yielding a considerable efficiency improvement over prior contrastive learning methods. Extensive empirical studies demonstrate that CAN achieves strong downstream performance under both linear and finetuning evaluations on transfer learning and robustness tasks. CAN outperforms MAE and SimCLR when pre-training on ImageNet, but is especially useful for pre-training on larger uncurated datasets such as JFT-300M: for linear probe on ImageNet, CAN achieves 75.4% compared to 73.4% for SimCLR and 64.1% for MAE. The finetuned performance on ImageNet of our ViT-L model is 86.1%, compared to 85.5% for SimCLR, and 85.4% for MAE. The overall FLOPs load of SimCLR is 70% higher than CAN for ViT-L models.

연구 동기 및 목표

• JFT-300M와 같은 대규모 비정제된 데이터셋에 대해 효율적으로 확장 가능한 자기지도 시각적 표현 학습 방법을 개발하는 것.
• 기존의 대조적 학습 및 마스킹된 자동에코더 방법의 한계를 보완하기 위해 그들 간의 상호보완적 강점을 융합하는 것.
• 전이 학습, 소수 샘플, 분포 이탈 벤치마크에서의 강건성과 최종 성능을 향상시키는 것.
• 대칭적 마스킹과 다목적 학습을 통해 계산 비용을 감소시키면서도 정확도를 유지하거나 향상시키는 것.

제안 방법

• CAN은 양쪽 시각에서 50%의 패치를 마스킹하는 대칭적 학습 체계를 사용하여, 전체 시각 대조 방법에 비해 FLOPs를 줄인 효율적인 학습을 가능하게 한다.
• 모델은 세 가지 목표를 동시에 최적화한다: 양의 쌍을 정렬하기 위한 InfoNCE 손실을 통한 대조적 학습, 마스킹된 패치를 재구성하기 위한 마스킹된 자동에코딩, 그리고 비마스킹된 패치에 추가된 가우시안 노이즈를 예측하기 위한 노이즈 제거.
• 노이즈 제거 손실은 고주파 이미지 성분을 학습하도록 유도하여 재구성의 저주파 집중과 상호보완적이다.
• 대조적 손실은 배치 전체에 걸쳐 적용되며, 재구성과 노이즈 제거 손실은 샘플별로 적용되어 상호보완적인 인덕티브 바이어스를 제공한다.
• 이 방법은 백본으로 비전 트랜스포머를 사용하며, 세 가지 구성 요소를 통합한 단일 통합 목표 함수로 엔드 투 엔드로 훈련된다.
• 대비 손실 가중치와 노이즈 수준 등의 하이퍼파rameter는 세 목표 간 균형을 맞추기 위해 조정되며, 최적 설정은 λ_InfoNCE = 0.03 및 σ_max = 0.05에서 도출되었다.

실험 결과

연구 질문

• RQ1 대조적 학습, 마스킹된 자동에코딩, 노이즈 제거를 융합하면 최종 비전 작업 성능 향상에 기여하는가?
• RQ2 양쪽 시각에서 50%의 패치를 대칭적으로 마스킹하는 것이 성능을 훼손하지 않으면서도 효율성을 향상시키는가?
• RQ3 대조적 학습(표본 간 관계)과 자동에코딩(표본 내 상관관계)의 상호보완적인 인덕티브 바이어스는 표현 품질에 어떤 영향을 미치는가?
• RQ4 표준 재구성에서 놓치는 고주파 성분을 포착함으로써 노이즈 제거 목표가 특징 학습을 향상시키는가?
• RQ5 JFT-300M와 같은 대규모 비정제된 데이터셋에서 개별 구성 요소보다 병합된 방법이 더 잘 확장되는가?

주요 결과

• JFT-300M에서 사전 훈련한 결과, CAN은 ImageNet에서 선형 프로브 평가에서 75.4%의 top-1 정확도를 달성하여 SimCLR(73.4%)와 MAE(64.1%)를 모두 능가했다.
• ImageNet에서 피넷팅된 ViT-L 모델의 경우, CAN은 86.1%의 top-1 정확도를 기록했으며, SimCLR의 85.5%와 MAE의 85.4%를 초월했다.
• ViT-L 모델 기준으로 CAN은 SimCLR 대비 FLOPs를 70% 감소시켜 뚜렷한 계산 효율성을 입증했다.
• 7개의 분포 이탈 벤치마크에서 CAN은 IN-v2, IN-Adversarial, ObjectNet 등 도전적인 데이터셋에서 SimCLR와 MAE를 모두 능가하는 뛰어난 강건성을 보였다.
• 대조적 손실과 재구성 손실의 공동 학습은 개별 학습보다 두 목표 모두에서 낮은 훈련 손실을 기록하여 그 상호보완성이 확인되었다.
• 최적의 성능는 마스킹 비율 50%, 대비 손실 가중치 0.03, 노이즈 수준 σ_max = 0.05에서 달성되었으며, 노이즈 제거 손실 가중치의 다양한 범위에서도 성능가 안정적이었다.