[논문 리뷰] Evo-ViT: Slow-Fast Token Evolution for Dynamic Vision Transformer

Yifan Xu, Zhijie Zhang외 7명|arXiv (Cornell University)|2021. 08. 03.

CCD and CMOS Imaging Sensors인용 수 15

한 줄 요약

Evo-ViT는 동적 비전 트랜스포머를 위한 자기 동기화된 느림-빠름 토큰 진화 방법을 제안하며, 원천적인 글로벌 클래스 어텐션을 사용하여 비구조적이고 인스턴스 기반의 토큰 선택을 가능하게 하면서도 이중 계산 경로를 통해 공간 구조를 유지합니다. ImageNet-1K에서 DeiT-S의 처리 속도를 60% 이상 높이며 상위 1위 정확도가 0.4% 감소할 뿐이지만, 기존의 프루닝 방법들보다 효율성과 정확도 유지 측면에서 뛰어나게 성능을 냅니다.

ABSTRACT

Vision transformers (ViTs) have recently received explosive popularity, but the huge computational cost is still a severe issue. Since the computation complexity of ViT is quadratic with respect to the input sequence length, a mainstream paradigm for computation reduction is to reduce the number of tokens. Existing designs include structured spatial compression that uses a progressive shrinking pyramid to reduce the computations of large feature maps, and unstructured token pruning that dynamically drops redundant tokens. However, the limitation of existing token pruning lies in two folds: 1) the incomplete spatial structure caused by pruning is not compatible with structured spatial compression that is commonly used in modern deep-narrow transformers; 2) it usually requires a time-consuming pre-training procedure. To tackle the limitations and expand the applicable scenario of token pruning, we present Evo-ViT, a self-motivated slow-fast token evolution approach for vision transformers. Specifically, we conduct unstructured instance-wise token selection by taking advantage of the simple and effective global class attention that is native to vision transformers. Then, we propose to update the selected informative tokens and uninformative tokens with different computation paths, namely, slow-fast updating. Since slow-fast updating mechanism maintains the spatial structure and information flow, Evo-ViT can accelerate vanilla transformers of both flat and deep-narrow structures from the very beginning of the training process. Experimental results demonstrate that our method significantly reduces the computational cost of vision transformers while maintaining comparable performance on image classification.

연구 동기 및 목표

• 시퀀스 길이에 따라 제곱형 계산 증가로 인한 비전 트랜스포머의 비효율성 문제를 해결하기 위해.
• 기존의 토큰 프루닝 방법이 공간 구조를 손상시키고 사전 훈련이 필요로 하는 한계를 극복하기 위해.
• 평탄한 구조와 깊이-좁은 트랜스포머 아키텍처 양쪽 모두에서 사전 훈련 없이 효율적이고 동적 토큰 선택을 수행할 수 있도록 하기 위해.
• 계산 감소 과정에서도 정보 흐름과 공간 일관성을 유지하기 위해.
• 깊이-좁은 ViT에서의 구조적 압축 방법과 호환되는 플러그인 솔루션을 개발하기 위해.

제안 방법

• 각 입력 인스턴스별로 정보가 풍부한 토큰과 자리표시자 토큰을 동적으로 식별하기 위해 최종 레이어의 글로벌 클래스 어텐션을 활용합니다.
• 느림-빠름 업데이트 메커니즘을 도입합니다: 정보가 풍부한 토큰은 전체 계산 경로를 통해 처리되고, 자리표시자 토큰은 경량 경로를 통해 처리됩니다.
• 토큰을 제거하지 않고 이중 경로를 통해 기여도를 재조정함으로써 완전한 공간 구조와 정보 흐름을 유지합니다.
• 더 깊은 레이어로 갈수록 토큰 선택이 점차 안정화되도록 레이어에서 스테이지로의 훈련 전략을 적용합니다.
• 모든 레이어에 동일한 토큰 유지 비율을 적용하며, 최적의 성능은 균일한 비율(예: 모든 레이어에서 50%)에서 달성됩니다.
• 더 깊은 레이어에서의 클래스 토큰 어텐션 점수를 동적이고 데이터 기반의 기준으로 사용하여 토큰 선택을 수행합니다.

실험 결과

연구 질문

• RQ1 비구조적 토큰 선택이 공간 구조를 손상시키지 않고 비전 트랜스포머에서 사전 훈련 없이도 효과적으로 적용될 수 있는가?
• RQ2 사전 훈련이나 고정 프루닝 마스크 없이도 동적이고 인스턴스 기반의 토큰 선택을 어떻게 달성할 수 있는가?
• RQ3 이중 경로(느림-빠름) 업데이트 메커니즘이 평탄한 구조와 깊이-좁은 ViT 아키텍처 양쪽 모두에서 성능을 유지하면서 계산을 줄일 수 있는가?
• RQ4 효율성과 정확도를 극대화하기 위해 레이어 간 최적의 토큰 유지 비율 전략은 무엇인가?
• RQ5 경량 경로를 통해 업데이트되는 자리표시자 토큰을 그대로 유지할 경우, 프루닝과 비교해 성능이 유지되거나 향상되는가?

주요 결과

• Evo-ViT는 ImageNet-1K에서 DeiT-S의 처리 속도를 60% 이상 높이며 상위 1위 정확도가 0.4% 감소할 뿐이지만, 기존의 프루닝 방법들보다 효율성과 정확도 유지 측면에서 뛰어나게 성능을 냅니다.
• 이 방법은 DeiT와 LeViT를 포함한 다양한 ViT 아키텍처에서 일관된 성능을 달성하여 광범위한 적용 가능성을 입증합니다.
• 모든 레이어에 동일한 토큰 유지 비율을 적용할 경우 최고의 성능을 내며, 이는 전체 네트워크를 통해 처리되는 정보가 풍부한 토큰의 수를 극대화하기 때문입니다.
• 훈련 과정에서 토큰 선택이 진화합니다: 초반에는 불안정했으나 시간이 지남에 따라 안정화되며, 더 깊은 레이어에서는 물고기 꼬리나 박쥐의 일부와 같은 정보가 풍부한 토큰들이 점차 선택됩니다.
• 시각화 결과는 이 방법이 배경이 아닌 객체에 집중함을 확인했으며, 구조 유지 설계 덕분에 더 깊은 레이어에서 놓친 토큰을 복구함을 보여줍니다.
• 더 깊은 레이어(예: 레이어 10)에서의 글로벌 클래스 어텐션은 마지막 레이어 전용 또는 열 평균 어텐션 전략보다 더 효과적이고 안정적인 선택 신호를 제공합니다.