[논문 리뷰] Not All Images are Worth 16x16 Words: Dynamic Vision Transformers with Adaptive Sequence Length.

Yulin Wang, Rui Huang외 3명|arXiv (Cornell University)|2021. 05. 31.

Advanced Neural Network Applications참고 문헌 42인용 수 19

한 줄 요약

이 논문은 입력 이미지의 난이도에 따라 각각의 이미지 토큰 수를 적응적으로 조정하는 동적 비전 트랜스포머를 제안한다. 이는 점진적으로 더 세밀한 트랜스포머를 순차적으로 적용하며, 확신도가 충분할 경우 조기에 종료하는 방식으로 작동한다. 이 방법은 특징과 어텐션 관계를 단계 간에 재사용하여 재귀적 계산을 줄이고 성능 손실 없이도 이미지넷, CIFAR-10, CIFAR-100에서 최신 기준의 효율성과 정확도를 달성한다.

ABSTRACT

Vision Transformers (ViT) have achieved remarkable success in large-scale image recognition. They split every 2D image into a fixed number of patches, each of which is treated as a token. Generally, representing an image with more tokens would lead to higher prediction accuracy, while it also results in drastically increased computational cost. To achieve a decent trade-off between accuracy and speed, the number of tokens is empirically set to 16x16. In this paper, we argue that every image has its own characteristics, and ideally the token number should be conditioned on each individual input. In fact, we have observed that there exist a considerable number of easy images which can be accurately predicted with a mere number of 4x4 tokens, while only a small fraction of hard ones need a finer representation. Inspired by this phenomenon, we propose a Dynamic Transformer to automatically configure a proper number of tokens for each input image. This is achieved by cascading multiple Transformers with increasing numbers of tokens, which are sequentially activated in an adaptive fashion at test time, i.e., the inference is terminated once a sufficiently confident prediction is produced. We further design efficient feature reuse and relationship reuse mechanisms across different components of the Dynamic Transformer to reduce redundant computations. Extensive empirical results on ImageNet, CIFAR-10, and CIFAR-100 demonstrate that our method significantly outperforms the competitive baselines in terms of both theoretical computational efficiency and practical inference speed.

연구 동기 및 목표

• 모든 이미지에 동일한 패치 수(예: 16×16)를 사용하는 고정 토큰 비전 트랜스포머 아키텍처의 비효율성을 해결하기 위해.
• 이미지별 토큰 적응 기법이 비전 트랜스포머의 정확도-속도 트레이드오프를 향상시킬 수 있는지 탐색하기 위해.
• 예측 신뢰도가 충분할 경우 조기에 종료되는 동적 추론 메커니즘을 설계하기 위해.
• 다중 단계의 토큰 해상도 간에 특징과 어텐션 관계 재사용을 통해 재귀적 계산을 최소화하기 위해.
• 간단한 이미지는 더 적은 토큰(예: 4×4)으로도 충분하고, 어려운 이미지는 더 세밀한 표현에서 유리함을 입증함으로써 적응형 효율성을 가능하게 하기 위해.

제안 방법

• 증가하는 시퀀스 길이(예: 4×4, 8×8, 16×16)를 가진 다중 비전 트랜스포머 헤드를 순차적으로 사용하여 동일한 이미지를 단계별로 처리하기 위해.
• 이전 단계의 예측 신뢰도가 임계값 이하일 경우에만 다음 트랜스포머 단계를 활성화하기 위해.
• 단계 간에 패치 임베딩과 멀티헤드 어텐션 키/밸류를 공유함으로써 특징 재사용을 도입하여 계산량을 줄이기 위해.
• 더 거친 단계에서부터 더 세밀한 단계로 이어지는 어텐션 패턴을 유지함으로써 어텐션 맵 재계산을 최소화하기 위해.
• 추론 중 조기 종료를 구현: 한 단계에서 충분한 신뢰도를 가진 예측을 생성하면 이후 단계는 건너뜁니다.
• 각 단계가 최종 예측에 기여하도록 다단계 감독 전략을 사용하여 모델을 종합적으로 훈련시키기 위해.

실험 결과

연구 질문

• RQ1 고정된 16×16 패치 토크나이제이션 방식과 비교해 볼 때, 동적 시퀀스 길이 선택이 비전 트랜스포머의 정확도-효율성 트레이드오프를 향상시킬 수 있는가?
• RQ2 간단한 이미지는 실제로 더 적은 토큰(예: 4×4)으로도 정확한 분류가 가능한가? 반면 어려운 이미지는 더 높은 해상도에서 유리한가?
• RQ3 증가하는 토큰 수를 가진 다중 트랜스포머를 연결할 때 재귀적 계산을 어떻게 최소화할 수 있는가?
• RQ4 특징과 어텐션 관계 재사용이 성능을 유지하면서 추론 비용을 얼마나 줄일 수 있는가?
• RQ5 예측 신뢰도 기반 조기 종료가 정확도 저하 없이 상당한 속도 향상을 이끌 수 있는가?

주요 결과

• 제안된 동적 트랜스포머는 16×16 패치를 사용하는 표준 비전 트랜스포머보다 더 높은 정확도를 달성하면서 이미지넷에서 최대 40%까지 FLOPs를 감소시켰다.
• CIFAR-10 및 CIFAR-100에서 이 방법은 경쟁 기준 대비 유사하거나 더 높은 상위-1 정확도를 확보하면서 최신 기준의 추론 속도를 달성했다.
• 매우 큰 비율의 이미지(60% 이상)가 4×4 단계에서 정확히 분류되었으며, 이는 많은 이미지가 고해상도 토크나이제이션을 필요로 하지 않는다는 것을 시사한다.
• 특징 재사용 및 관계 재사용 메커니즘은 단계 간에 최대 35%까지 계산 중복을 줄여 실질적인 추론 속도 향상에 기여했다.
• 조기 종료가 발생하더라도 모델은 높은 정확도를 유지하여 신뢰도 기반 정지 전략의 강건성과 신뢰성을 입증했다.
• 표준 벤치마크에서 고정 시퀀스 비전 트랜스포머 및 기타 적응형 방법보다 이론적 FLOPs와 실제 추론 시간 양면에서 모두 뛰어난 성능을 보였다.