[논문 리뷰] A Closer Look at Self-Supervised Lightweight Vision Transformers

Shaoru Wang, Jin Gao외 3명|arXiv (Cornell University)|2022. 05. 28.

Advanced Neural Network Applications인용 수 8

한 줄 요약

이 논문은 경량화된 비전 트랜스포머(ViTs)를 위한 자기지도 학습 전훈을 조사하며, 정상적인 ViT-Tiny(5.7M 파라미터)가 MAE를 통해 적절히 전훈된 경우 ImageNet에서 상위-1 정확도 79.0%를 달성함으로써 복잡한 설계를 가진 최신 기술(SOTA) 아키텍처와 견줄 만한 성능을 보임을 입증한다. 또한 전훈 과정에서 하위 레이어가 충분한 다운스트림 데이터에서 더 유리하게 작용하며, MAE 전훈 중에 특별한 디스티illation 전략을 도입함으로써 성능 향상을 이끌어내며, 특히 데이터가 부족한 과제에서 뚜렷한 성과 향상을 이룬다.

ABSTRACT

Self-supervised learning on large-scale Vision Transformers (ViTs) as pre-training methods has achieved promising downstream performance. Yet, how much these pre-training paradigms promote lightweight ViTs' performance is considerably less studied. In this work, we develop and benchmark several self-supervised pre-training methods on image classification tasks and some downstream dense prediction tasks. We surprisingly find that if proper pre-training is adopted, even vanilla lightweight ViTs show comparable performance to previous SOTA networks with delicate architecture design. It breaks the recently popular conception that vanilla ViTs are not suitable for vision tasks in lightweight regimes. We also point out some defects of such pre-training, e.g., failing to benefit from large-scale pre-training data and showing inferior performance on data-insufficient downstream tasks. Furthermore, we analyze and clearly show the effect of such pre-training by analyzing the properties of the layer representation and attention maps for related models. Finally, based on the above analyses, a distillation strategy during pre-training is developed, which leads to further downstream performance improvement for MAE-based pre-training. Code is available at https://github.com/wangsr126/mae-lite.

연구 동기 및 목표

• 경량화된 비전 트랜스포머, 특히 ViT-Tiny에서 자기지도 학습 전훈의 효과를 최신 기술 아키텍처와 비교하여 평가하는 것.
• 자기지도 학습 전훈이 다운스트림 과제에서 성능을 향상시키는 이유와 방식을 분석하며, 특히 데이터가 부족한 환경에서의 성능 향상 원리를 규명하는 것.
• 전훈 중 및 피니터빙 중 ViT 레이어의 표현 행동을 분석하여 다운스트림 성능에 영향을 주는 핵심 요인을 규명하는 것.
• MAE 기반 전훈 중에 적용 가능한 디스티illation 전략을 개발하고 검증하여 경량화된 ViT의 성능을 추가로 향상시키는 것.

제안 방법

• 이미지 분류 및 고밀도 예측 과제에서 ViT-Tiny에 대해 다양한 자기지도 학습 전훈 방법(MoCo-v3(대비 학습) 및 MAE(마스킹된 이미지 모델링))을 벤치마킹하였다.
• 다양한 네트워크 깊이에서의 레이어 표현과 주의 맵을 광범위하게 분석하여 전훈 과정에서 특징 학습 방식이 어떻게 변화하는지 연구하였다.
• 충분한 레이블이 있는 다운스트림 데이터에서 하위 레이어가 더 중요하다는 것을 규명하였으며, 데이터가 부족한 상황에서는 상위 레이어가 더 중요한 역할을 한다는 점을 발견하였다.
• MAE 전훈이 주의 맵을 집중시키는 방식으로 국소성 인도적 편향을 유도하며, 이는 성능 향상에 기여한다는 것을 발견하였다.
• MAE 전훈 중에 더 큰 티처 네트워크가 학생 ViT-Tiny를 안내하는 디스티illation 전략을 제안하였으며, 이는 특히 상위 레이어의 특징 품질 향상에 기여한다.
• ImageNet, Flowers, Aircraft, CIFAR100, COCO 객체 검출 및 세그멘테이션 벤치마크에서 이 방법을 검증하였으며, 디스티illation 구성 요소에 대한 아블레이션 스터디를 실시하였다.

실험 결과

연구 질문

• RQ1 자기지도 학습 전훈이 복잡한 설계를 가진 최신 기술 아키텍처와 비교해 경량화된 비전 트랜스포머, 특히 ViT-Tiny의 성능 격차를 메울 수 있는가?
• RQ2 전훈과 피니터빙 중 ViT 레이어의 표현 학습 행동은 어떻게 다를까? 그리고 다운스트림 데이터 스케일에 따라 어떻게 달라지는가?
• RQ3 왜 MAE 전훈이 더 나은 다운스트림 성능을 이끌어내며, 어떤 인도적 편향을 유도하는가?
• RQ4 MAE 전훈 중에 지식 디스티illation을 적용하면 경량화된 ViT의 성능을 추가로 향상시킬 수 있는가?

주요 결과

• 정상적인 ViT-Tiny는 MAE를 통해 전훈된 경우 ImageNet에서 상위-1 정확도 79.0%를 달성하며, 복잡한 아키텍처 설계를 가진 이전의 SOTA 모델들과 견줄 만한 성능을 보인다.
• 충분한 레이블 데이터가 있는 상황에서는 전훈된 ViT의 하위 레이어가 다운스트림 성능에 더 큰 기여를 하며, 데이터가 부족한 상황에서는 상위 레이어가 더 중요한 역할을 한다.
• MAE 전훈은 주의 맵을 집중시키는 방식으로 국소성 인도적 편향을 유도하며, 이는 일반화 능력 향상과 성능 향상과 관련이 있다.
• MAE 전훈 중에 적용된 제안된 디스티illation 전략은 특히 데이터가 부족한 분류 및 고밀도 예측 과제(예: COCO 객체 검출 및 세그멘테이션)에서 다운스트림 성능을 크게 향상시킨다.
• 디스티illation 방법은 표현 학습의 품질 향상과 티처 네트워크 출력과의 더 나은 일치를 통해 상위 레이어의 특징 품질 향상을 뒷받침한다.
• 선형 프로빙 평가 결과, 제안된 방법으로 개선된 표현들이 다양한 다운스트림 과제에서 잘 일반화됨을 확인하였다.