[논문 리뷰] Dynamic Tuning Towards Parameter and Inference Efficiency for ViT Adaptation

Wangbo Zhao, Jiasheng Tang외 6명|arXiv (Cornell University)|2024. 03. 18.

Advanced Vision and Imaging인용 수 4

한 줄 요약

이 논문은 비전 트랜스포머(ViT) 적응을 위한 새로운 방법인 동적 튜닝(DyT)을 제안한다. DyT는 파라미터 효율성과 추론 효율성을 모두 향상시키며, 학습 가능한 토큰 디스패처를 도입하여 추론 중에 정보가 적은 토큰을 식별하고 건너뛰어 불필요한 계산을 동적으로 생략한다. 동시에 경량 어댑터와 믹스처 오브 엑스퍼트(MoE) 아키텍처를 사용하여 성능을 유지한다. VTAB-1K에서 DyT는 기준 모델의 71%-85%에 해당하는 43.52 GFLOPs만을 소비하면서도 전체 미세조정 성능과 비교해 유사하거나 더 높은 정확도를 달성하여 정확도를 희생시키지 않은 채 상당한 효율성 향상을 입증한다.

ABSTRACT

Existing parameter-efficient fine-tuning (PEFT) methods have achieved significant success on vision transformers (ViTs) adaptation by improving parameter efficiency. However, the exploration of enhancing inference efficiency during adaptation remains underexplored. This limits the broader application of pre-trained ViT models, especially when the model is computationally extensive. In this paper, we propose Dynamic Tuning (DyT), a novel approach to improve both parameter and inference efficiency for ViT adaptation. Specifically, besides using the lightweight adapter modules, we propose a token dispatcher to distinguish informative tokens from less important ones, allowing the latter to dynamically skip the original block, thereby reducing the redundant computation during inference. Additionally, we explore multiple design variants to find the best practice of DyT. Finally, inspired by the mixture-of-experts (MoE) mechanism, we introduce an enhanced adapter to further boost the adaptation performance. We validate DyT across various tasks, including image/video recognition and semantic segmentation. For instance, DyT achieves superior performance compared to existing PEFT methods while evoking only 71% of their FLOPs on the VTAB-1K benchmark.

연구 동기 및 목표

• 기존의 파라미터 효율적 미세조정(PEFT) 방법들이 파라미터 효율성은 향상시키지만 추론 시 계산을 줄이지 못하는 점을 보완하기 위해, 비전 트랜스포머(ViTs)의 추론 효율성 향상을 목표로 한다.
• 특히 계산 비용이 높은 모델에 대해 파라미터 효율성과 추론 효율성을 동시에 향상시킬 수 있는 통합적인 접근법을 개발한다.
• 이미지 인식, 영상 동작 인식, 세그멘테이션 등 다양한 비전 작업에서 성능을 훼손하지 않은 채 효율적인 적응을 가능하게 한다.
• 밀도 있는 예측 작업과 호환되며 총 토큰 수를 줄이지 않는 동적 토큰 프루닝 메커니즘을 탐색한다.
• 동적 토큰 스킵이 모델 성능에 미치는 영향을 조사하고 최적의 설계 변형 및 하이퍼파라미터를 규명한다.

제안 방법

• 각 ViT 블록에 대해 정보량에 따라 토큰을 활성화하거나 스킵할지 결정하는 학습 가능한 토큰 디스패처를 도입한다.
• 활성화된 토큰만 원래의 트랜스포머 블록과 경량 어댑터를 통과하고, 비활성 토큰은 어댑터만 처리하여 계산을 줄인다.
• 톆근 디스패처의 미분 가능 학습을 가능하게 하기 위해 가우스-소프트맥스 재구성 기법을 사용하여 엔드 투 엔드 최적화를 가능하게 한다.
• 소규모 어댑터에 믹스처 오브 엑스퍼트(MoE) 메커니즘을 도입하여 추가적인 FLOPs를 거의 들이지 않고도 특징 표현을 향상시킨다.
• Gumbel-Softmax의 온도 스케줄링 전략을 도입하여 학습 안정성과 성능을 향상시키며, 온도를 5에서 0.1로 점차 감소시킨다.
• 다양한 활성화 비율(r)이 성능와 효율성에 미치는 영향을 평가하기 위해 네 가지 모델 변종을 설계한다.

실험 결과

연구 질문

• RQ1 추론 중 동적 토큰 스킵이 정확도를 훼손하지 않고 비전 트랜스포머 적응의 계산 비용을 줄일 수 있는가?
• RQ2 다양한 비전 벤치마크에서 DyT의 정확도와 FLOPs 성능이 전체 미세조정 및 기존 PEFT 방법과 비교해 어떻게 되는가?
• RQ3 효율성과 성능의 균형을 맞추기 위해 토큰 디스패처의 최적의 활성화 비율과 온도 설정은 무엇인가?
• RQ4 제안된 동적 튜닝 메커니즘은 인식, 영상 이해, 밀도 있는 예측 등 다양한 비전 작업에 일반화될 수 있는가?
• RQ5 동일한 파라미터 및 FLOP 제약 조건 하에서 MoE 기반 어댑터는 표준 어댑터에 비해 성능을 얼마나 향상시키는가?

주요 결과

• VTAB-1K 벤치마크에서 DyT는 평균 정확도 77.0%를 기록하며 단지 43.52 GFLOPs를 소비하여 전체 미세조정(75.7%)을 초월하면서도 FLOPs를 29.8% 감소시켰다.
• VTAB-1K에서 ViT-B/16에 대해 DyT는 기존 PEFT 방법과 유사하거나 더 높은 성능을 달성하면서도 그 FLOPs의 71%-85%만을 소비한다.
• K400 영상 동작 인식 벤치마크에서 DyT는 기준 방법 대비 37 GFLOPs의 FLOPs 감소를 기록했으며, 일반화 성능도 향상되었다.
• ADE20K 세그멘테이션 벤치마크에서 DyT는 전체 미세조정보다 뛰어난 성능을 보였고, 21 GFLOP의 FLOPs 감소를 기록하여 밀도 있는 예측 작업에서 강력한 성능을 입증했다.
• 토큰 디스패처는 정보가 풍부한 토큰—특히 깊은 레이어에서의 토큰—을 성공적으로 활성화하여 중요한 시각적 특징을 식별할 수 있음을 입증했다.
• 온도를 5에서 0.1로 점차 감소시키는 전략은 Food-101과 K400에서 성능 향상을 이끌어내어 적응형 온도 조정이 학습 역학을 향상시킨다는 것을 시사한다.