[논문 리뷰] Masked Image Residual Learning for Scaling Deeper Vision Transformers

Guoxi Huang, Hongtao Fu외 1명|arXiv (Cornell University)|2023. 09. 25.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 마스크된 이미지 모델링(MIM)을 통해 깊이 있는 비전 트랜스포머(ViTs)를 위한 사전 훈련을 재구성하는 마스킹된 이미지 잔차 학습(MIRL)을 제안한다. MIRL은 전체 이미지를 복원하는 대신 더 깊은 층에서 이미지 잔차를 복원하도록 훈련시켜 MIM에서 발생하는 성능 열화 문제를 완화한다. MIRL을 통해 ViT-S-54나 ViT-B-48와 같은 더 깊은 ViT 모델들이 ViT-Large와 동등하거나 이를 초월하는 성능을 달성하며, ImageNet에서 86.2%의 top-1 정확도를 기록하고, 하류 작업으로의 일반화 능력이 뛰어나다.

ABSTRACT

Deeper Vision Transformers (ViTs) are more challenging to train. We expose a degradation problem in deeper layers of ViT when using masked image modeling (MIM) for pre-training. To ease the training of deeper ViTs, we introduce a self-supervised learning framework called Masked Image Residual Learning (MIRL), which significantly alleviates the degradation problem, making scaling ViT along depth a promising direction for performance upgrade. We reformulate the pre-training objective for deeper layers of ViT as learning to recover the residual of the masked image. We provide extensive empirical evidence showing that deeper ViTs can be effectively optimized using MIRL and easily gain accuracy from increased depth. With the same level of computational complexity as ViT-Base and ViT-Large, we instantiate 4.5$ imes$ and 2$ imes$ deeper ViTs, dubbed ViT-S-54 and ViT-B-48. The deeper ViT-S-54, costing 3$ imes$ less than ViT-Large, achieves performance on par with ViT-Large. ViT-B-48 achieves 86.2% top-1 accuracy on ImageNet. On one hand, deeper ViTs pre-trained with MIRL exhibit excellent generalization capabilities on downstream tasks, such as object detection and semantic segmentation. On the other hand, MIRL demonstrates high pre-training efficiency. With less pre-training time, MIRL yields competitive performance compared to other approaches.

연구 동기 및 목표

• 마스크된 이미지 모델링(MIM)을 사용해 사전 훈련할 때 비전 트랜스포머(ViTs)의 더 깊은 층에서 관찰되는 성능 열화 문제를 해결하기 위해.
• MIM이 더 깊은 ViT 블록에 부정적인 최적화 효과를 미치며 깊이 스케일링을 방해함을 규명하기 위해.
• 더 깊은 층의 사전 훈련 목표를 이미지 복원에서 잔차 복원으로 전환하는 새로운 자기지도 학습 프레임워크를 개발하기 위해.
• 더 깊은 ViT를 효과적으로 훈련시켜 일반화 능력과 효율성을 향상시키고, 낮은 계산 비용으로 최신 기준 성능을 달성하기 위해.
• MIRL이 기존의 특징 수준 손실 방법과 수직적이고 상호보완적이며, 성능 향상에 기여함을 입증하기 위해.

제안 방법

• ViT 인코더를 얕은 부분과 깊은 부분으로 분할하고, 각각 전용 디코더를 사용해 다중 디코딩을 수행한다.
• 더 깊은 층의 사전 훈련 목표를 전체 패치 복원에서 마스크된 패치의 잔차 예측으로 재구성한다.
• 얕은 부분이 주요 이미지 성분을 복원하고, 깊은 부분이 잔차를 학습하는 다중 디코딩 아키텍처를 구현한다.
• 얕은 세그먼트에는 표준 마스크된 이미지 모델링(MIM) 목표를 적용하고, 깊은 세그먼트에는 잔차 복원 목표를 적용한다.
• 인코더를 더 많은 깊이 수준으로 나누어 다중 세그먼트로 확장함으로써 매우 깊은 ViT의 훈련을 가능하게 한다.
• 추가로 특징 수준의 목표(예: VGG 손실)를 통합하여 성능을 향상시키며, MIRL와의 수직성(orthogonality)을 입증한다.

실험 결과

연구 질문

• RQ1 왜 MIM이 자연어 처리와 비전 분야에서 성공을 거두었음에도 불구하고, 표준 MIM으로 사전 훈련할 때 비전 트랜스포머(ViTs)의 더 깊은 층에서 성능이 열화되는가?
• RQ2 더 깊은 ViT 층의 사전 훈련 목표를 이미지 복원에서 잔차 복원으로 재구성하는 것이 성능 열화 문제를 완화할 수 있는가?
• RQ3 MIRL은 깊이 방향으로 ViT를 얼마나 효과적으로 스케일링할 수 있으며, 성능과 효율성을 유지하거나 향상시킬 수 있는가?
• RQ4 기존의 MIM 기반 방법과 특징 수준 손실 접근법에 비해 MIRL은 사전 훈련 효율성과 하류 전이 성능 측면에서 어떻게 비교되는가?
• RQ5 MIRL의 성능 향상 효과가 VGG 손실 같은 다른 정규화 기법과 수직적인가?

주요 결과

• MIRL은 표준 MIM으로 인해 발생하는 더 깊은 ViT 층의 성능 열화 문제를 효과적으로 완화하여 깊은 아키텍처의 안정적 훈련을 가능하게 한다.
• ViT-S-54는 ViT-Base보다 4.5배 더 깊고 ViT-Large보다 3배 더 저렴한 54개의 블록을 가진 모델로, ImageNet에서 ViT-Large와 동등한 성능을 달성한다.
• ViT-B-48는 ViT-Base보다 2배 더 깊은 모델로, ImageNet에서 86.2%의 top-1 정확도를 기록하며 유사한 계산 예산 내에서 표준 ViT-Large를 초월한다.
• MIRL로 사전 훈련된 모델는 하류 작업에서 더 우수한 일반화 능력을 보이며, ADE20K 세그먼테이션에서 53.2%의 mIoU를 기록하여 더 많은 데이터나 더 긴 훈련 스케줄로 사전 훈련된 모델와 유사한 성능을 달성한다.
• MIRL 프레임워크는 매우 효율적이다: MAE나 BEiT와 같은 기준 방법에 비해 훨씬 적은 사전 훈련 시간으로 경쟁 가능한 성능을 달성한다.
• 기울기 분석 결과 MIRL은 더 깊은 층에서 기울기 흐름을 향상시키며, 순수한 MIM보다 더 높은 기울기 노름을 보여, 향상된 훈련 역학을 시사한다.