[논문 리뷰] Contrastive Masked Autoencoders are Stronger Vision Learners

Zhicheng Huang, Xiaojie Jin외 6명|arXiv (Cornell University)|2022. 07. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 62인용 수 8

한 줄 요약

이 논문은 시마이즈드 이미지 모델링(MIM)과 대조 학습(CL)을 모멘텀 인코더와 특징 디코더를 갖춘 사일로이드 인코더-디코더 아키텍처를 통해 통합하는 자기지도 학습 시각 사전학습 프레임워크인 대비 마스킹 오토에인코더(CMAE)를 제안한다. CMAE는 ImageNet-1k에서 85.3%의 top-1 정확도와 ADE20k에서 52.5%의 mIoU를 기록하여 이전 방법들보다 각각 0.7%와 1.8% 향상된 최신 기준 성능을 달성한다.

ABSTRACT

Masked image modeling (MIM) has achieved promising results on various vision tasks. However, the limited discriminability of learned representation manifests there is still plenty to go for making a stronger vision learner. Towards this goal, we propose Contrastive Masked Autoencoders (CMAE), a new self-supervised pre-training method for learning more comprehensive and capable vision representations. By elaboratively unifying contrastive learning (CL) and masked image model (MIM) through novel designs, CMAE leverages their respective advantages and learns representations with both strong instance discriminability and local perceptibility. Specifically, CMAE consists of two branches where the online branch is an asymmetric encoder-decoder and the momentum branch is a momentum updated encoder. During training, the online encoder reconstructs original images from latent representations of masked images to learn holistic features. The momentum encoder, fed with the full images, enhances the feature discriminability via contrastive learning with its online counterpart. To make CL compatible with MIM, CMAE introduces two new components, i.e. pixel shifting for generating plausible positive views and feature decoder for complementing features of contrastive pairs. Thanks to these novel designs, CMAE effectively improves the representation quality and transfer performance over its MIM counterpart. CMAE achieves the state-of-the-art performance on highly competitive benchmarks of image classification, semantic segmentation and object detection. Notably, CMAE-Base achieves $85.3\%$ top-1 accuracy on ImageNet and $52.5\%$ mIoU on ADE20k, surpassing previous best results by $0.7\%$ and $1.8\%$ respectively. The source code is publicly accessible at \url{https://github.com/ZhichengHuang/CMAE}.

연구 동기 및 목표

• 마스킹된 이미지 모델링(MIM) 표현에서의 제한된 구분 가능성 문제를 해결하여 후행 시각 작업에서의 성능을 향상시키기 위해.
• 대조 학습(CL)이 MIM과 효과적으로 통합되어 특징 품질과 인스턴스의 구분 가능성 향상에 기여할 수 있는 방법을 탐색하기 위해.
• MIM의 국소적 감지 가능성과 CL의 인스턴스 구분 가능성의 장점을 통합하면서도 어느 한쪽도 손상시키지 않는 통합 프레임워크를 설계하기 위해.
• 더 나은 사전학습을 통해 이미지 분류, 세분화, 객체 검출 등 다양한 작업에서 전이 성능을 향상시키기 위해.

제안 방법

• CMAE는 마스킹된 이미지 복원을 위한 온라인 비대칭 인코더-디코더 브랜치와 대조 학습 감독을 위한 모멘텀 업데이트 인코더 브랜치를 갖춘 사일로이드 아키텍처를 사용한다.
• 온라인 브랜치에 새로운 특징 디코더를 도입하여 마스킹된 토큰 특징을 복원함으로써, 불완전한 표현에서 의미 있는 대조 학습을 가능하게 한다.
• 픽셀 이동 증강 기법을 적용하여 대조 학습을 위한 타당한 양성 뷰를 생성함으로써 공간 일관성과 MIM과의 호환성을 확보한다.
• 모멘텀 인코더는 전체 이미지를 처리하여 의미적으로 완전한 특징을 생성하여 온라인 인코더를 안내하고 특징의 구분 가능성 향상에 기여한다.
• 마스킹 복원 손실과 대조 손실을 동시에 최적화함으로써 뷰 간 특징를 정렬하고 표현 품질을 향상시킨다.
• 이 방법은 ViT 아키텍처(소형, 기준형, 대형) 전반에서 확장 가능하며, 다양한 모델 크기에서 MAE를 초월하는 일관된 성능 향상을 보여준다.

실험 결과

연구 질문

• RQ1 대조 학습이 마스킹된 이미지 모델링(MIM)과 효과적으로 통합되어 표현 품질을 향상시킬 수 있는가?
• RQ2 입력 증강과 특징 정렬의 차이로 인해 MIM의 마스킹 복원 목표와 대조 학습이 어떻게 호환될 수 있는가?
• RQ3 MIM과 CL을 결합하면 시각 벤치마크에서 더 나은 후행 전이 성능을 달성할 수 있는가?
• RQ4 대조 학습이 MIM 목표를 해칠 것이 아니라 강화할 수 있도록 하기 위해 필요한 아키텍처 및 증강 설계는 무엇인가?

주요 결과

• CMAE-Base는 ImageNet-1k에서 85.3%의 top-1 정확도를 기록하여 이전 최고 성능보다 0.7% 향상되었다.
• ADE20k 세분화 벤치마크에서 CMAE-Base는 52.5%의 mIoU를 달성하여 이전 최고 기록보다 1.8% 향상되었다.
• COCO에서의 객체 검출 작업에서는 CMAE-Base가 45.7%의 AP를 기록하여 고밀도 예측 작업으로의 일반화 능력이 뛰어나다는 것을 보여주었다.
• 부분 미세조정 조건에서 CMAE는 오직 한 개의 트랜스포머 블록만 미세조정할 경우 MoCo-V3보다 3.8% 성능 향상을 보였으며, 이는 더 높은 품질의 특징을 의미한다.
• 선형 프로빙 결과는 MAE 대비 5.9% 향상되어 다양한 평가 프로토콜에서 향상된 표현 품질을 확인했다.
• 특징 분석 결과 CMAE는 더 압축된 클래스 내 클러스터와 더 크고 균일한 클래스 간 거리를 학습함을 확인하였으며, 이는 향상된 구분 가능성의 증거이다.