[논문 리뷰] Anti-Oversmoothing in Deep Vision Transformers via the Fourier Domain Analysis: From Theory to Practice

Peihao Wang, Wenqing Zheng외 2명|arXiv (Cornell University)|2022. 03. 09.

CCD and CMOS Imaging Sensors인용 수 45

한 줄 요약

이 논문은 Fourier 도메인에서 Vision Transformer를 분석하고 self-attention이 저역통과 필터 역할을 하여 깊이에 제약을 주며, AttnScale과 FeatScale를 도입해 고주파 정보를 회복하고 ViT 변형에 걸쳐 일관된 정확도 향상을 보인다.

ABSTRACT

Vision Transformer (ViT) has recently demonstrated promise in computer vision problems. However, unlike Convolutional Neural Networks (CNN), it is known that the performance of ViT saturates quickly with depth increasing, due to the observed attention collapse or patch uniformity. Despite a couple of empirical solutions, a rigorous framework studying on this scalability issue remains elusive. In this paper, we first establish a rigorous theory framework to analyze ViT features from the Fourier spectrum domain. We show that the self-attention mechanism inherently amounts to a low-pass filter, which indicates when ViT scales up its depth, excessive low-pass filtering will cause feature maps to only preserve their Direct-Current (DC) component. We then propose two straightforward yet effective techniques to mitigate the undesirable low-pass limitation. The first technique, termed AttnScale, decomposes a self-attention block into low-pass and high-pass components, then rescales and combines these two filters to produce an all-pass self-attention matrix. The second technique, termed FeatScale, re-weights feature maps on separate frequency bands to amplify the high-frequency signals. Both techniques are efficient and hyperparameter-free, while effectively overcoming relevant ViT training artifacts such as attention collapse and patch uniformity. By seamlessly plugging in our techniques to multiple ViT variants, we demonstrate that they consistently help ViTs benefit from deeper architectures, bringing up to 1.1% performance gains "for free" (e.g., with little parameter overhead). We publicly release our codes and pre-trained models at https://github.com/VITA-Group/ViT-Anti-Oversmoothing.

연구 동기 및 목표

• ViT가 깊이 증가로 포화되거나 성능이 저하되는 이유를 동기 부여하고 이해한다.
• ViT 특징과 self-attention을 분석하기 위한 스펙트럴-도메인 프레임워크를 형성한다.
• ViT의 과도한 스무딩을 방지하기 위한 두 가지 효율적이고 하이퍼파라미터 자유 기술을 제안한다.
• 더 깊은 ViT 모델이 여러 백본에서 제안된 방법으로 이익을 얻을 수 있음을 보여준다.

제안 방법

• ViT를 self-attention 블록의 시퀀스로 형성하고 Fourier 도메인에서 분석한다.
• self-attention이 입력 토큰 또는 query/key 행렬에 독립적으로 작동하는 저역통과 필터임을 보인다(정리 1).
• AttnScale을 도입하여 주의(attention)를 저주파와 고주파 구성요소로 분해하고 고주파 잔차를 재가중하여 전반적 통과(all-pass) 동작을 달성한다(식 7-9).
• FeatScale을 도입하여 푸리에 변환 없이도 특징 맵의 DC 및 고주파 구성요소를 재가중한다(식 10-12).
• AttnScale과 FeatScale가 가볍고 하이퍼파라미터가 필요 없으며 다양한 ViT 변형에 플러그인으로 적용될 수 있음을 주장한다.
• DeiT, CaiT, Swin 백본 전반에서 일관된 이득을 보인 경험적 검증을 제공한다.

실험 결과

연구 질문

• RQ1 왜 ViT의 성능은 깊이가 증가함에 따라 포화되거나 저하되는가?
• RQ2 Fourier-도메인 분석이 ViT에서 주의에 의해 촉진되는 스무딩의 메커니즘를 드러낼 수 있는가?
• RQ3 주의 맵이나 특징 맵의 경량 스케일링 기술이 과도한 스무딩을 완화하고 더 깊은 ViT를 가능하게 하는가?
• RQ4 AttnScale과 FeatScale이 추가 하이퍼파라미터 없이 서로 다른 ViT 아키텍처 간에 전달될 수 있는가?
• RQ5 표준 Vision Transformer 변형에 이 방법들을 적용했을 때 실제 정확도 개선은 어느 정도인가?

주요 결과

• 자기 주의(attention) 계단식 작동은 깊이가 증가함에 따라 고주파 정보를 침식하는 저역통과 필터로 작동한다.
• AttnScale은 저주파와 고주파 부분으로 주의를 분해하고 고주파 잔차를 재가중하여 효과적인 주의를 전 영역 필터(all-pass)로 변환할 수 있다.
• FeatScale은 특징 맵 수준에서 DC 및 고주파 구성요소를 재가중하여 고주파 정보를 보존한다.
• 두 방법 모두 가볍고 하이퍼파라미터가 없으며 DeiT, CaiT, Swin 백본과 호환된다.
• 실험 결과는 추가 파라미터 증가 없이 평가된 모델에서 ImageNet에 대해 최대 약 1.1%의 정확도 향상을 보인다.
• 다수의 선행 기법과 비교했을 때 AttnScale과 FeatScale은 재어텐션(re-attention) 및 LayerScale 같은 방법들보다 제시된 이득에서 우수하다.