[논문 리뷰] AdaViT: Adaptive Vision Transformers for Efficient Image Recognition

Lingchen Meng, Hengduo Li외 5명|arXiv (Cornell University)|2021. 11. 30.

Advanced Neural Network Applications참고 문헌 49인용 수 15

한 줄 요약

AdaViT는 입력 이미지당 패치, 자기주의 주의 헤드, 트랜스포머 블록을 동적으로 선택하는 적응형 계산 프레임워크를 제안하여 추론 효율성을 향상시킨다. Gumbel-Softmax를 사용해 경량 의사결정 네트워크를 백본과 함께 공동으로 훈련함으로써, ImageNet에서 정확도가 0.8% 감소하는 것만으로도 최신 기술 대비 2배 이상 빠른 추론을 달성한다.

ABSTRACT

Built on top of self-attention mechanisms, vision transformers have demonstrated remarkable performance on a variety of vision tasks recently. While achieving excellent performance, they still require relatively intensive computational cost that scales up drastically as the numbers of patches, self-attention heads and transformer blocks increase. In this paper, we argue that due to the large variations among images, their need for modeling long-range dependencies between patches differ. To this end, we introduce AdaViT, an adaptive computation framework that learns to derive usage policies on which patches, self-attention heads and transformer blocks to use throughout the backbone on a per-input basis, aiming to improve inference efficiency of vision transformers with a minimal drop of accuracy for image recognition. Optimized jointly with a transformer backbone in an end-to-end manner, a light-weight decision network is attached to the backbone to produce decisions on-the-fly. Extensive experiments on ImageNet demonstrate that our method obtains more than 2x improvement on efficiency compared to state-of-the-art vision transformers with only 0.8% drop of accuracy, achieving good efficiency/accuracy trade-offs conditioned on different computational budgets. We further conduct quantitative and qualitative analysis on learned usage polices and provide more insights on the redundancy in vision transformers.

연구 동기 및 목표

• 입력 패치 수와 모델 깊이에 따라 계산 비용이 제곱적으로 증가하는 비전 트랜스포머의 높은 계산 비용을 해결한다.
• 복잡한 이미지가 단순한 이미지보다 더 많은 계산이 필요하다는 점을 인식함으로써 비전 트랜스포머 내의 부족함을 식별하고 활용한다.
• 패치, 주의 헤드, 트랜스포머 블록에 대한 인스턴스별 사용 정책을 학습하는 종단간 훈련 가능한 프레임워크를 개발한다.
• 입력 복잡도에 따라 계산 자원을 동적으로 할당함으로써 정확도를 훼손하지 않고 효율적인 추론을 달성한다.
• 다양한 비전 트랜스포머 백본에 쉽게 통합할 수 있는 유연하고 모델에 종속되지 않는 솔루션을 제공한다.

제안 방법

• 각 트랜스포머 블록에 부착된 경량 의사결정 네트워크를 도입하여 패치, 주의 헤드, 블록에 대한 이진 사용 결정을 예측한다.
• 훈련 중에 이산적 결정의 미분 가능한 샘플링을 가능하게 하기 위해 Gumbel-Softmax를 사용한다.
• 교차 엔트로피 분류 손실과 사용 비용 손실을 조합한 복합 손실을 최적화하여 의사결정 네트워크를 비전 트랜스포머 백본과 함께 공동으로 최적화한다.
• 훈련 중에 전체 모델 비용의 허용 범위를 나타내는 하이퍼파rameter γ ∈ (0,1]을 통해 타겟 계산 예산을 제어한다.
• 입력 기반 적응성 제공: 쉬운 이미지는 더 적은 패치/헤드/블록을 사용하고, 어려운 이미지는 더 많은 자원을 사용한다.
• 모델에 종속되지 않는 프레임워크 설계로 DeiT 및 T2T-ViT와 같은 다양한 비전 트랜스포머 아키텍처에 통합 가능하도록 한다.

실험 결과

연구 질문

• RQ1 비전 트랜스포머는 입력 이미지의 복잡도에 따라 계산 부담을 동적으로 조절할 수 있는가?
• RQ2 정확도에 큰 영향을 주지 않고 패치, 주의 헤드, 트랜스포머 블록을 얼마나 많이 제거할 수 있는가?
• RQ3 다양한 이미지 클래스와 복잡도 수준에서 학습된 적응형 계산 정책은 어떻게 변화하는가?
• RQ4 종단간 훈련 가능한 경량 의사결정 네트워크가 미분 가능한 방식으로 계산 자원을 효과적으로 할당할 수 있는가?
• RQ5 비전 트랜스포머에서 적응형 계산을 사용할 경우 추론 효율성과 정확도 사이의 상호 교환 관계는 어떠한가?

주요 결과

• AdaViT는 ImageNet에서 최신 기술 대비 2배 이상 빠른 추론 효율성을 달성했으며, 정확도 손실은 0.8%에 불과하다.
• 이 방법은 복잡하고 혼잡한 이미지(예: 'barber shop', 'toyshop')에는 더 많은 계산을 할당하고, 단순하고 객체 중심의 이미지(예: 'parachute', 'kite')에는 더 적은 계산을 할당하도록 학습한다.
• 패치 선택은 깊이가 깊어질수록 점진적인 계산 감소를 보이며, 백본의 후행 단계에서 더 높은 부족함이 있음을 시사한다.
• 의사결정 네트워크는 최종 예측에 더 중요한 후행 트랜스포머 블록에서 더 많은 계산을 유지하도록 학습한다.
• 정성적 분석 결과, 네트워크가 깊어질수록 더 많은 계산을 할당하는 지역이 감소하고, 후행 레이어에서 분류에 기여하는 중요한 영역에 집중함을 확인할 수 있다.
• AdaViT는 백본 간 일반화 성능이 뛰어나며, DeiT-small 및 T2T-ViT에 적용했을 때 표준 및 무작위 기반 베이스라인 버전을 모두 능가하는 효율성/정확도 트레이드오프를 달성한다.