[논문 리뷰] Revealing the Dark Secrets of Masked Image Modeling

Zhenda Xie, Zigang Geng외 4명|arXiv (Cornell University)|2022. 05. 26.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 자기지도 학습 전훈 방법으로서 마스킹 이미지 모델링(MIM)을 조사하며, MIM이 비전 트랜스포머의 모든 레이어에 걸쳐 강한 국소성 인도적 편향을 도입하고, 높은 주의 헤드 다양성을 유지하며 기하학적 및 운동 작업에서 뛰어난 성능을 발휘함을 밝혀냈다. 아키텍처 수정 없이도 표준 MIM 전훈 SwinV2-L은 허위 정밀도 추정(78.9 AP on COCO), 깊이 추정(0.287 RMSE on NYUv2), 영상 추적(70.7 SUC on LaSOT)에서 최신 기술 수준의 성능을 달성하여 세밀한 내용과 기하학적 작업에서 지도 학습 모델을 능가한다.

ABSTRACT

Masked image modeling (MIM) as pre-training is shown to be effective for numerous vision downstream tasks, but how and where MIM works remain unclear. In this paper, we compare MIM with the long-dominant supervised pre-trained models from two perspectives, the visualizations and the experiments, to uncover their key representational differences. From the visualizations, we find that MIM brings locality inductive bias to all layers of the trained models, but supervised models tend to focus locally at lower layers but more globally at higher layers. That may be the reason why MIM helps Vision Transformers that have a very large receptive field to optimize. Using MIM, the model can maintain a large diversity on attention heads in all layers. But for supervised models, the diversity on attention heads almost disappears from the last three layers and less diversity harms the fine-tuning performance. From the experiments, we find that MIM models can perform significantly better on geometric and motion tasks with weak semantics or fine-grained classification tasks, than their supervised counterparts. Without bells and whistles, a standard MIM pre-trained SwinV2-L could achieve state-of-the-art performance on pose estimation (78.9 AP on COCO test-dev and 78.0 AP on CrowdPose), depth estimation (0.287 RMSE on NYUv2 and 1.966 RMSE on KITTI), and video object tracking (70.7 SUC on LaSOT). For the semantic understanding datasets where the categories are sufficiently covered by the supervised pre-training, MIM models can still achieve highly competitive transfer performance. With a deeper understanding of MIM, we hope that our work can inspire new and solid research in this direction.

연구 동기 및 목표

• 다양한 시각 작업에서 MIM의 뛰어난 성능을 이끌어내는 핵심 메커니즘을 이해하는 것.
• 대표적 인도적 편향과 특징 계층의 구조 측면에서 MIM과 지도 학습 전훈을 비교하는 것.
• 의미 이해, 기하학적, 운동 작업 전반에서 MIM과 지도 학습 모델의 전이 가능성에 대해 조사하는 것.
• 왜 MIM이 약한 의미적 정보나 세밀한 콘텐츠를 가진 작업에서 뛰어나게 성능을 발휘하는지 밝혀내는 것.
• MIM과 지도 학습 모델에서 주의 헤드 다양성과 레이어별 표현 유사성에 대한 통찰을 제공하는 것.

제안 방법

• MIM과 지도 학습 모델의 국소성 인도적 편향을 분석하기 위해 평균 주의 거리 시각화.
• 헤드 간 주의 맵 간 KL 발산을 사용해 주의 헤드 다양성 측정.
• 표현 유사성 비교를 위해 중심화된 커널 정렬(CKA) 계산.
• 다양한 벤치마크에서 미세조정 성능 평가: COCO, NYUv2, KITTI, LaSOT, ADE-20K, 그리고 세밀한 콘텐츠 데이터셋.
• 공정한 비교를 위해 MIM과 지도 학습 전훈 모두 동일한 설정으로 모델 훈련.
• 백본으로 SwinV2-L 사용 및 허위 정밀도, 깊이, 추적 작업에 표준 헤드 설계 적용.

Figure 1: The averaged attention distance in different attention heads (dots) w.r.t the layer number on supervised model (a), contrastive learning model (b), and SimMIM model (c) with ViT-B as the backbone architecture.

실험 결과

연구 질문

• RQ1 MIM이 지도 학습 전훈과 비교해 뛰어난 성능을 내는 데 기여하는 표현적 차이는 무엇인가?
• RQ2 MIM은 네트워크 레이어 전반에서 주의 국소성과 헤드 다양성에 어떤 영향을 미치는가?
• RQ3 왜 MIM은 의미적 지도 학습이 약한 기하학적 및 운동 작업에서 지도 학습 모델을 능가하는가?
• RQ4 레이어별 유사성과 전이 가능성 측면에서 MIM과 지도 학습 모델의 표현 구조는 어떻게 다를까?
• RQ5 주의 헤드 다양성은 미세조정 성능과 어느 정도 상관관계가 있는가?

주요 결과

• MIM 전훈은 모든 레이어에 걸쳐 강력한 국소성 인도적 편향을 도입하지만, 지도 학습 모델은 깊이가 증가함에 따라 국소적에서 전역적 초점으로 변화한다.
• MIM은 모든 레이어에서 높은 주의 헤드 다양성을 유지하지만, 지도 학습 모델은 마지막 세 레이어에서 다양성이 감소하여 미세조정 성능에 악영향을 미친다.
• MIM 모델은 아키텍처 수정 없이도 허위 정밀도 추정에서 최신 기술 수준의 성능을 달성한다(78.9 AP on COCO test-dev).
• 깊이 추정에서는 NYUv2에서 0.287 RMSE, KITTI에서 1.966 RMSE를 기록하여 지도 학습 기반 모델을 능가한다.
• 영상 객체 추적에서는 LaSOT에서 70.7 SUC를 기록하여 장기 추적에 대한 강력한 전이 가능성 잠재력을 보여준다.
• iNaturalist-18 및 COG와 같은 세밀한 콘텐츠나 의미적 정보가 적은 작업에서는 MIM이 지도 학습 모델을 크게 능가한다. 이는 더 나은 표현 전이 덕분이다.

Figure 2: (a) The error rate of fine-tuning on ImageNet-1K (blue circle $\circ$ ) and averaged attention distance (red diamond $\diamond$ ) w.r.t AvgDist (averaged distance of masked pixels to the nearest visible pixels) with Swin-B as the backbone. Points ( $\diamond$ or $\circ$ ) denote the SimMIM