[논문 리뷰] Context Autoencoder for Self-Supervised Representation Learning

Xiaokang Chen, Mingyu Ding외 8명|arXiv (Cornell University)|2022. 02. 07.

Domain Adaptation and Few-Shot Learning인용 수 9

한 줄 요약

이 논문은 인코더-리그레서-디코더 아키텍처를 통해 재구성 작업에서 표현 학습을 분리함으로써 마스크된 패치 표현을 인코딩된 공간에서 예측하고 이러한 예측에서 패치를 재구성함으로써 마스크된 이미지 모델링을 향상시키는 자기지도 학습 표현 학습 방법인 컨텍스트 오토에인커(CAE)를 제안한다. CAE는 다운스트림 작업인 세분화, 객체 검출, 분류에서 최신 기술 수준(SOTA) 성능을 달성하며, 감독 학습 및 대비 학습 기반 베이스라인을 능가한다.

ABSTRACT

We present a novel masked image modeling (MIM) approach, context autoencoder (CAE), for self-supervised representation pretraining. We pretrain an encoder by making predictions in the encoded representation space. The pretraining tasks include two tasks: masked representation prediction - predict the representations for the masked patches, and masked patch reconstruction - reconstruct the masked patches. The network is an encoder-regressor-decoder architecture: the encoder takes the visible patches as input; the regressor predicts the representations of the masked patches, which are expected to be aligned with the representations computed from the encoder, using the representations of visible patches and the positions of visible and masked patches; the decoder reconstructs the masked patches from the predicted encoded representations. The CAE design encourages the separation of learning the encoder (representation) from completing the pertaining tasks: masked representation prediction and masked patch reconstruction tasks, and making predictions in the encoded representation space empirically shows the benefit to representation learning. We demonstrate the effectiveness of our CAE through superior transfer performance in downstream tasks: semantic segmentation, object detection and instance segmentation, and classification. The code will be available at https://github.com/Atten4Vis/CAE.

연구 동기 및 목표

• 표현 학습을 재구성 작업에서 분리함으로써 자기지도 학습 표현 학습을 향상시키는 것.
• 기존의 마스크된 이미지 모델링(MIM) 방법들이 하나의 네트워크에서 표현 학습과 재구성 작업을 혼합하는 한계를 해결하는 것.
• 가시 패치 특징과 위치 정보를 사용하여 인코딩된 표현 공간에서의 예측을 통해 표현 품질을 향상시키는 것.
• 잠재 공간에서의 예측이 의미 표현 학습을 향상시킨다는 것을 경험적으로 검증하는 것.
• 분류, 검출, 세분화와 같은 다운스트림 작업에서 뛰어난 전이 성능을 보여주는 것.

제안 방법

• 모델은 인코더-리그레서-디코더 아키텍처를 사용한다: 인코더는 오직 가시 패치만 처리하여 그들의 표현을 추출한다.
• 잠재적 맥락 리그레서는 가시 패치의 표현과 그들의 공간적 위치를 사용하여 마스크된 패치의 표현을 예측한다.
• 예측된 마스크된 표현은 인코더로 계산된 진짜 표현과 일치하도록 강제되며, 대비 일치 손실을 통해 일致성을 확보한다.
• 별도의 디코더는 예측된 표현에서 원래의 마스크된 패치를 재구성하여 엔드 투 엔드 학습을 가능하게 한다.
• 사전학습 작업은 마스크된 표현 예측과 마스크된 패치 재구성의 조합이며, 두 목표를 균형 잡는 가중치 손실 함수를 사용한다.
• 인코더는 오직 가시 패치에서만 학습되어 표현 학습이 주된 목적임을 보장하며, 재구성과 예측은 각각 리그레서와 디코더가 담당한다.

실험 결과

연구 질문

• RQ1 인코딩된 공간에서 마스크된 패치 표현을 예측하는 것이 자기지도 표현 학습을 향상시킬 수 있는가?
• RQ2 표현 학습을 재구성 작업에서 분리하면 다운스트림 성능이 향상되는가?
• RQ3 표준 벤치마크에서 CAE의 성능은 감독 사전학습 및 대비 자기지도 학습 방법과 비교해 어떻게 되는가?
• RQ4 재구성 타겟의 종류(예: DALL-E 토크나이저, d-VAE, RGB 픽셀)가 CAE의 성능에 어떤 영향을 미치는가?
• RQ5 마스크 비율이 학습된 표현의 일반화 능력과 강건성에 어떤 영향을 미치는가?

주요 결과

• CAE는 ImageNet-1K에서 선형 프로빙 정확도 72.4%를 달성하여 감독 사전학습 및 대비 자기지도 학습 방법을 능가한다.
• ADE20K 데이터셋에서 CAE는 세분화 작업에서 50.4%의 mIoU를 기록하여 이전의 MIM 및 대비 방법을 뛰어넘었다.
• 50% 마스크 비율에서 CAE는 성능의 최적 균형을 달성했으며, 선형 프로빙 정확도 64.2%를 기록하여 대부분의 지표에서 40% 및 60% 비율을 능가했다.
• 재구성 타겟으로 RGB 픽셀 값을 사용할 경우 선형 프로빙(72.4%) 및 세분화(50.4%) 결과가 가장 우수했지만, 다른 토크나이저보다 약간 낮은 성능을 보였다.
• 4층의 리그레서 및 디코더 아키텍처가 전체 성능에서 가장 우수했으며, 선형 프로빙 정확도 64.1%, 민감도 프로빙 정확도 73.8%를 기록했다.
• 손실 트레이드오프 파라미터 λ = 2가 최고의 성능(선형 프로빙 64.1%)을 보였지만, λ = 1.5 및 λ = 1 역시 양호한 성능을 보였다.