[논문 리뷰] Expediting Large-Scale Vision Transformer for Dense Prediction without Fine-tuning
이 논문은 사전 훈련된 모델에 토큰 클러스터링 및 재구성 레이어를 삽입하여, 파라미터 조정 없이 대규모 비전 트랜스포머를 밀도 예측 작업에 대해 가속화하는 비모수적이고 파라미터 튜닝이 없는 방법을 제안한다. 이 방법은 FLOPs를 30% 감소시키고 추론 속도를 40% 향상시키며, ADE20K에서 원본 성능의 99.5%를 유지한다. 이는 재훈련 없이도 객체 검출, 세분화, 깊이 추정 등 다양한 작업에 대해 뛰어난 일반화 성능을 보여준다.
Vision transformers have recently achieved competitive results across various vision tasks but still suffer from heavy computation costs when processing a large number of tokens. Many advanced approaches have been developed to reduce the total number of tokens in large-scale vision transformers, especially for image classification tasks. Typically, they select a small group of essential tokens according to their relevance with the class token, then fine-tune the weights of the vision transformer. Such fine-tuning is less practical for dense prediction due to the much heavier computation and GPU memory cost than image classification. In this paper, we focus on a more challenging problem, i.e., accelerating large-scale vision transformers for dense prediction without any additional re-training or fine-tuning. In response to the fact that high-resolution representations are necessary for dense prediction, we present two non-parametric operators, a token clustering layer to decrease the number of tokens and a token reconstruction layer to increase the number of tokens. The following steps are performed to achieve this: (i) we use the token clustering layer to cluster the neighboring tokens together, resulting in low-resolution representations that maintain the spatial structures; (ii) we apply the following transformer layers only to these low-resolution representations or clustered tokens; and (iii) we use the token reconstruction layer to re-create the high-resolution representations from the refined low-resolution representations. The results obtained by our method are promising on five dense prediction tasks, including object detection, semantic segmentation, panoptic segmentation, instance segmentation, and depth estimation.
연구 동기 및 목표
- 세분화 및 검출과 같은 밀도 예측 작업에서 대규모 비전 트랜스포머의 높은 계산 비용 문제를 해결하기 위해.
- 사전 훈련된 비전 트랜스포머를 가속화할 때, 파라미터 튜닝이나 재훈련이 필요 없도록 하기 위해.
- 고해상도 입력에서 추론 시간과 FLOPs를 크게 줄이면서도 높은 성능을 유지하기 위해.
- 개체 검출, 깊이 추정, 팬옵티컬 세분화와 같은 다양한 밀도 예측 작업으로의 일반화를 위해.
- 기존 비전 트랜스포머 아키텍처인 ViT 및 Swin Transformer와 호환되는 경량이며 즉시 사용 가능한 솔루션을 제공하기 위해.
제안 방법
- 이웃하는 토큰들을 낮은 해상도 표현으로 군집화하는 토큰 클러스터링 레이어를 도입하여 공간적 구조를 유지한다.
- 계산을 줄이기 위해 이후 트랜스포머 레이어를 군집화된 낮은 해상도 토큰들에만 적용한다.
- 정제된 낮은 해상도 특징에서 고해상도 표현을 복원하는 토큰 재구성 레이어를 삽입한다.
- 추가적인 훈련이나 가중치 갱신이 필요 없는 비모수적 연산자를 사용한다.
- ViT-L/16 및 Swin-L에 대해 경험적으로 선택된 단계에 클러스터링 및 재구성 레이어를 삽입한다.
- 파라미터 튜닝 없이도 사전 훈련된 모델의 풍부한 중간 표현을 활용하여 성능를 유지한다.
실험 결과
연구 질문
- RQ1파라미터 튜닝 없이도 비전 트랜스포머를 밀도 예측 작업에 대해 가속화할 수 있는가?
- RQ2대규모 비전 트랜스포머에서 계산 비용을 줄이면서도 고해상도 표현을 어떻게 유지할 수 있는가?
- RQ3학습 가능한 파rameter를 도입하지 않으면서도 효과적으로 토큰 수를 줄일 수 있는 비모수적 연산은 무엇인가?
- RQ4제안된 방법은 객체 검출 및 깊이 추정과 같은 다양한 밀도 예측 작업으로 일반화되는가?
- RQ5정확도를 유지하면서 이 방법이 FLOPs를 얼마나 줄이고 추론 속도를 얼마나 향상시킬 수 있는가?
주요 결과
- "Segmenter+ViT-L/16"에서 파라미터 튜닝 없이도 추론 속도를 40% 향상시키고 FLOPs를 30% 감소시키며 ADE20K에서 원본 성능의 99.5%를 유지한다.
- COCO 팬옵티컬 세분화에서 FPS를 35% 이상 향상시키며 성능 저하가 최소한이다.
- DPT를 사용한 깊이 추정에서 KITTI 및 NYUv2 벤치마크에서 30–37%의 속도 향상을 기록했으며, 지표에서의 열등한 성능 저하가 미미하다.
- 이 방법은 이미지 분류 작업으로도 일반화되어 EViT와 유사한 성능를 보이며 ImageNet-1K에서 더 뛰어난 효율성을 확보한다.
- 이 방법은 객체 검출, 세분화, 팬옵티컬 세분화, 인스턴스 세분화, 깊이 추정 등 다섯 가지의 밀도 예측 작업 전반에서 뛰어난 성능를 유지한다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.