[논문 리뷰] AdaptFormer: Adapting Vision Transformers for Scalable Visual Recognition

Shoufa Chen, Chongjian Ge외 5명|arXiv (Cornell University)|2022. 05. 26.

Advanced Neural Network Applications인용 수 260

한 줄 요약

AdaptFormer는 경량 병목 모듈(AdaptMLP)을 도입하여 사전 학습된 비전 트랜스포머를 효율적으로 미세 조정하고, 이미지 및 비디오 작업에서 전체 미세 조정보다 동등하거나 더 나은 결과를 얻으면서 새 매개변수 비율이 2% 미만인 성과를 달성합니다.

ABSTRACT

Pretraining Vision Transformers (ViTs) has achieved great success in visual recognition. A following scenario is to adapt a ViT to various image and video recognition tasks. The adaptation is challenging because of heavy computation and memory storage. Each model needs an independent and complete finetuning process to adapt to different tasks, which limits its transferability to different visual domains. To address this challenge, we propose an effective adaptation approach for Transformer, namely AdaptFormer, which can adapt the pre-trained ViTs into many different image and video tasks efficiently. It possesses several benefits more appealing than prior arts. Firstly, AdaptFormer introduces lightweight modules that only add less than 2% extra parameters to a ViT, while it is able to increase the ViT's transferability without updating its original pre-trained parameters, significantly outperforming the existing 100\% fully fine-tuned models on action recognition benchmarks. Secondly, it can be plug-and-play in different Transformers and scalable to many visual tasks. Thirdly, extensive experiments on five image and video datasets show that AdaptFormer largely improves ViTs in the target domains. For example, when updating just 1.5% extra parameters, it achieves about 10% and 19% relative improvement compared to the fully fine-tuned models on Something-Something~v2 and HMDB51, respectively. Code is available at https://github.com/ShoufaChen/AdaptFormer.

연구 동기 및 목표

• 사전 학습된 ViT를 다양한 이미지 및 비디오 작업에 대해 전체 미세 조정 없이 보편적으로 적응시키려는 동기를 부여합니다.
• ViT MLP 블록과 병렬로 삽입되는 파라미터 효율적인 어댑터(AdaptMLP)를 개발합니다.
• AdaptFormer의 확장성과 강건성을 여러 데이터셋과 모달리티에 걸쳐 입증합니다.

제안 방법

• ViT MLP 블록을 AdaptMLP로 대체합니다. AdaptMLP는 하향 및 상향 投影(W_down, W_up)과 ReLU를 갖춘 병렬 병목 모듈이며, 학습 가능한 스케일 s와 잔여 결합으로 융합됩니다.
• 사전에 학습된 백본을 고정한 채로 추가된 AdaptMLP 매개변수만 미세 조정합니다.
• 고정된 백본에AdaptMLP 매개변수를 결합한 상태로 추론하여 단일 모델이 작업별 AdaptMLP 가중치를 로드해 여러 작업에 적응하도록 합니다.
• 안정적인 시작을 보장하기 위해 W_down은 Kaiming Normal로 초기화하고 W_up/편향은 0으로 초기화합니다.
• 이미지 데이터셋(CIFAR-100, SVHN, Food-101)과 비디오 데이터셋(Something-Something V2, HMDB51)에서 AdaptFormer를 선형 프로빙, 전체 미세 조정 및 Visual Prompt Tuning(VPT)과 비교합니다.
• 중간 차원 d_hat을 달리할 때 AdaptFormer가 2% 미만의 tunable 파라미터로도 강한 성능을 제공함을 보입니다.

실험 결과

연구 질문

• RQ1 ViT 인코더에 삽입된 경량 어댑터 모듈이 다양한 하류 시각 작업에 대한 효율적 미세 조정을 가능하게 할 수 있을까?
• RQ2 AdaptFormer가 이미지 및 비디오 벤치마크에서 전체 미세 조정 및 다른 파라미터 효율적 방법과 비교하여 어떻게 성능을 발휘하는가?
• RQ3 어댑터 크기와 융합 전략이 전달 성능 및 안정성에 어떤 영향을 미치는가?
• RQ4 적합 매개변수 수를 확장하고 모달리티 간(이미지 vs. 비디오) 이동 시 AdaptFormer가 얼마나 강건한가?

주요 결과

• AdaptFormer는 이미지 및 비디오 데이터셋에서 선형 프로빙 및 Visual Prompt Tuning보다 일관되게 우수한 성능을 보입니다.
• 모델당 tunable 매개변수가 약 0.1–1.6% 수준인 configuration에 따라 AdaptFormer가 일부 작업에서 전체 미세 조정을 대등하거나 초과하며, 일부 비디오 벤치마크에서 약 5%~10%의 상대 우위를 달성합니다.
• 자기지도학습 ViT-B/16에서 AdaptFormer-64는 VPT를 능가하고 전체 미세 조정에 근접하며 SSv2에서 더 높은 top-1 정확도를 달성하는 동시에 훨씬 적은 tunable 매개변수를 사용합니다.
• AdaptFormer는 중간 차원(d_hat)과 AdaptMLP 계층 수가 증가함에 따라 높은 확장성과 강건성을 보이며, 병렬 삽입이 순차 삽입보다 우수합니다.
• 다수의 벤치마크에서 AdaptFormer는 파라미터 효율성 측면에서 전체 미세 조정 대비 상당한 이점을 달성하고, 예를 들어 SSv2 및 HMDB51에서 정확도와 파라미터 증가를 균형 있게 달성합니다.