[논문 리뷰] Exploring Target Representations for Masked Autoencoders

Xingbin Liu, Jinghao Zhou외 3명|arXiv (Cornell University)|2022. 09. 08.

Domain Adaptation and Few-Shot Learning인용 수 16

한 줄 요약

이 논문은 마스킹된 자동에코더에서 정교한 타겟 표현 설계가 필요 없도록 무작위로 초기화된 모델을 교사로 사용하는 다단계 마스킹 지식 정련 프레임워크인 dBOT을 제안한다. 반복적으로 학생의 가중치를 사용해 교사를 업데이트함으로써, ViT-B/16, ViT-L/16, ViT-H/14를 사용하여 ImageNet-1K, COCO, ADE20K에서 최신 기술(SOTA) 성능을 달성한다. 이는 MAE를 포함한 이전의 자기지도 학습 방법을 뛰어넘는 성능을 보인다.

ABSTRACT

Masked autoencoders have become popular training paradigms for self-supervised visual representation learning. These models randomly mask a portion of the input and reconstruct the masked portion according to the target representations. In this paper, we first show that a careful choice of the target representation is unnecessary for learning good representations, since different targets tend to derive similarly behaved models. Driven by this observation, we propose a multi-stage masked distillation pipeline and use a randomly initialized model as the teacher, enabling us to effectively train high-capacity models without any efforts to carefully design target representations. Interestingly, we further explore using teachers of larger capacity, obtaining distilled students with remarkable transferring ability. On different tasks of classification, transfer learning, object detection, and semantic segmentation, the proposed method to perform masked knowledge distillation with bootstrapped teachers (dBOT) outperforms previous self-supervised methods by nontrivial margins. We hope our findings, as well as the proposed method, could motivate people to rethink the roles of target representations in pre-training masked autoencoders.The code and pre-trained models are publicly available at https://github.com/liuxingbin/dbot.

연구 동기 및 목표

• 마스킹된 자동에코더에서 타겟 표현의 선택이 시각 표현 학습에 미치는 영향이 크지 않은지 조사하기 위해.
• 마스킹된 인코딩에서 효과적인 지식 정련을 위해 사전 훈련된 교사 네트워크가 반드시 필요한지 확인하기 위해.
• 사전 훈련이나 정교한 타겟 설계가 필요 없는 단순하고 효과적인 사전 훈련 방법을 개발하기 위해.
• 분류, 검출, 세그멘테이션을 포함한 다양한 최종 비전 작업에서 제안된 방법의 성능을 평가하기 위해.

제안 방법

• 학생 네트워크가 교사 네트워크를 사용해 마스킹된 패치를 재구성하도록 훈련하는 다단계 마스킹 정련 파이프라인을 제안한다.
• 각 훈련 단계의 끝에서 학생의 가중치로 교사를 업데이트하는 방식으로, 초기 교사는 무작위로 초기화된 모델을 사용한다.
• 학생을 각 단계 이후에 최신 교사 가중치를 사용해 재초기화하는 부트스트랩 훈련 전략을 적용한다.
• 대칭 및 비대칭 인코더-디코더 아키텍처를 사용하여 훈련하고, 재구성에 표준 L2 손실을 적용한다.
• 더 큰 사전 훈련된 모델(예: ViT-L, ViT-H)을 교사로 사용하여 더 작은 학생 네트워크를 정련하는 프레임워크를 확장한다.
• 다양한 교사(DeiT, DINO, DALL-E, MAE)와 무작위 초기화를 비교하는 분석 연구를 수행한다.

실험 결과

연구 질문

• RQ1 마스킹된 자동에코더에서 타겟 표현(즉, 교사 네트워크)의 선택이 자기지도 학습에서 성능에 크게 영향을 미치는가?
• RQ2 무작위로 초기화된 모델이 시각 표현 학습을 위한 마스킹 지식 정련에서 효과적인 교사가 될 수 있는가?
• RQ3 부트스트랩된 교사를 사용한 다단계 정련이 다양한 비전 작업에서 일관된 성능 향상을 이끌어내는가?
• RQ4 더 큰 교사에서의 정련은 표준 훈련 대비 최종 성능과 효율성 측면에서 어떻게 비교되는가?
• RQ5 더 큰 또는 데이터가 풍부한 교사(예: CLIP)를 사용할 경우, 분류, 검출, 세그멘테이션 작업 전반에 걸쳐 성능 향상이 일관되게 유지되는가?

주요 결과

• 다양한 사전 훈련된 교사(DeiT, DINO, DALL-E, MAE)에서 정련된 학생 네트워크는 다단계 정련 후 거의 동일한 성능를 보이며, 교사 선택이 영향을 미치지 않는다는 것을 시사한다.
• 무작위로 초기화된 모델을 교사로 사용할 경우 사전 훈련된 교사와 유사한 성능를 달성함으로써, 정교한 타겟 표현 설계가 필수적이지 않음을 입증한다.
• dBOT는 ViT-B/16를 사용해 ImageNet-1K에서 84.5%의 top-1 정확도를 기록했으며, ViT-L/16는 86.6%, ViT-H/14는 88.0%를 기록하여 MAE 및 기타 최신 기술 자기지도 학습 방법을 초월한다.
• COCO 객체 검출에서 dBOT는 ViT-B/16를 사용해 52.7 AP box를 기록했고, ViT-L/16는 56.0 AP box를 달성하여 이전 방법들을 능가한다.
• ADE20K 세그멘테이션에서 dBOT는 ViT-B/16를 사용해 49.5 mIoU를 기록했고, ViT-L/16는 54.5 mIoU를 기록하여 새로운 최신 기술 결과를 수립한다.
• 더 큰 교사(예: ViT-H)에서 정련할 경우, 조밀한 예측 작업에서 뚜렷한 성능 향상이 발생한다: ViT-B는 +0.8 AP box 및 +1.3 mIoU 향상, ViT-L는 +0.1 AP box 및 +0.7 mIoU 향상.