[논문 리뷰] Towards a Unified View on Visual Parameter-Efficient Transfer Learning

Bruce X. B. Yu, Jianlong Chang외 3명|arXiv (Cornell University)|2022. 10. 03.

Multimodal Machine Learning Applications인용 수 14

한 줄 요약

이 논문은 시각적 파rameter 효율적 전이 학습을 위한 통합 프레임워크인 V-PETL을 제안하며, 시각 작업에서 파라미터-정확도 트레이드오프를 향상시키기 위해 새로운 프리픽스 튜닝 변종인 병렬 어텐션(PATT)을 도입한다. 비전 트랜스포머에 PATT를 통합함으로써, 전체 미세조정보다 훨씬 적은 학습 가능한 파라미터로 최신 기술 수준(SOTA) 성능을 달성하며, Something-Something V2 및 HMDB51와 같은 데이터셋에서 AdaptFormer-Swin 및 전체 튜닝을 초월한다.

ABSTRACT

Parameter efficient transfer learning (PETL) aims at making good use of the representation knowledge in the pre-trained large models by fine-tuning a small number of parameters. Recently, taking inspiration from the natural language processing (NLP) domain, popular PETL techniques such as prompt-tuning and Adapter have also been successfully applied to the vision domain. However, prefix-tuning remains under-explored for vision tasks. In this work, we intend to adapt large vision models (LVMs) to downstream tasks with a good parameter-accuracy trade-off. Towards this goal, we propose a framework with a unified view of PETL called visual-PETL (V-PETL) to investigate the effects of different PETL techniques, data scales of downstream domains, positions of trainable parameters, and other aspects affecting the trade-off. Specifically, we analyze the positional importance of trainable parameters and differences between NLP and vision tasks in terms of data structures and pre-training mechanisms while implementing various PETL techniques, especially for the under-explored prefix-tuning technique. Based on a comprehensive understanding of the differences between NLP and vision data, we propose a new variation of the prefix-tuning module called parallel attention (PATT) for vision downstream tasks. An extensive empirical analysis on vision tasks via different frozen LVMs has been carried and the findings show that the proposed PATT can effectively contribute to other PETL techniques. An effective scheme Swin-BAPAT derived from the proposed V-PETL framework achieves significantly better performance than the state-of-the-art AdaptFormer-Swin with slightly more parameters and outperforms full-tuning with far fewer parameters. Code and data are available at: https://github.com/bruceyo/V-PETL.

연구 동기 및 목표

• 대규모 시각 모델(LVMs)을 다운스트림 작업에 대해 미세조정할 때 발생하는 높은 계산 및 저장 비용 문제를 해결하기 위해.
• 특히 다루어지지 않은 프리픽스 튜닝을 포함한 비전 분야에서 파라미터 효율적 전이 학습(PETL) 기법을 탐색하기 위해.
• 비전 분야에서 PETL 기법, 데이터 스케일, 파라미터 위치 영향을 분석하기 위한 통합 프레임워크를 수립하기 위해.
• 새로운 PATT 모듈을 사용하여 비전 전이 학습에서 파라미터-정확도 트레이드오프를 향상시키기 위해.
• PATT의 효과를 다양한 LVMs와 다운스트림 비전 작업 전반에서 검증하기 위해.

제안 방법

• 비전 분야에서 PETL 기법(예: 프롬프트 튜닝, 어댑터, 프리픽스 튜닝 포함)을 체계적으로 연구하기 위해 통합된 V-PETL 프레임워크를 제안한다.
• 자기어텐션에서 쿼리와 키의 프로젝션을 분리함으로써 더 나은 기울기 흐름과 파라미터 효율성을 가능하게 하는 새로운 프리픽스 튜닝 변종인 병렬 어텐션(PATT)을 도입한다.
• PATT는 다중헤드 어텐션 모듈 이전에 삽입되며, 주 모델과 병렬로 작업별 대응 표현을 학습한다.
• 학습 가능한 파라미터 수는 하이퍼파라미터 dbottle을 통해 제어되어 모델 용량을 탄력적으로 조정할 수 있다.
• 공정한 비교를 위해 여러 비전 모델(Swin, ViT, VideoMAE)과 데이터셋(ImageNet, SSv2, HMDB51) 간에 통합된 훈련 프rotocol를 적용한다.
• 일반화성과 강건성을 평가하기 위해 지도 학습 및 자기지도 학습 기반 사전학습 모델의 조합을 사용한다.

실험 결과

연구 질문

• RQ1 다양한 PETL 기법(예: 프롬프트 튜닝, 어댑터, 프리픽스 튜닝)이 비전 작업에서 정확도와 파라미터 효율성 측면에서 어떻게 비교되는가?
• RQ2 비전 데이터와 NLP 데이터 간의 핵심 차이점은 무엇이며, 이는 비전에서 프리픽스 튜닝의 설계 및 성능에 어떤 영향을 미치는가?
• RQ3 학습 가능한 파라미터의 위치가 비전 전이 학습에서 파라미터-정확도 트레이드오프에 미치는 영향은 어떠한가?
• RQ4 PATT와 같은 새로운 프리픽스 튜닝 변종이 기존 PETL 방법을 초월할 수 있는가?
• RQ5 제안된 방법은 다양한 데이터 스케일과 사전학습 파라다임(지도 학습 대비 자기지도 학습)에서 어떻게 스케일링되는가?

주요 결과

• 우리의 방법인 Swin-BAPAT(파라미터 수 dbottle=32)는 SSv2에서 Top-1 정확도 86.55%를 달성하여 전체 튜닝(86.04%)을 뛰어넘으며, 학습 가능한 파라미터의 9.68%만을 사용한다.
• HMDB51에서 Swin-BAPAT-32는 Top-1 정확도 57.18%를 기록하여 전체 튜닝(46.41%)과 AdaptFormer-Swin(55.69%)을 모두 뛰어넘으며, 훨씬 적은 파라미터를 사용한다.
• ViT-BAPAT-32는 CIFAR-100에서 Top-1 정확도 86.29%를 달성하여 AdaptFormer-64(85.90%)를 초월하고, 전체 튜닝(86.04%)과 동일한 성능을 내며 파라미터의 2.47%만을 사용한다.
• PATT 모듈은 비전 모델(Swin, ViT)과 데이터셋(이미지 및 영상) 전반에서 일관된 성능 향상을 이끌어내며, SSv2에서 전체 튜닝 대비 5.05% 향상된 성능을 기록한다.
• 작은 배치 크기(예: 16)에서도 강력한 성능 유지를 유지하여 자원 제약이 있는 엣지 디바이스에 실용적이다.
• 광범위한 아블레이션 분석을 통해 PATT는 기울기 흐름과 파라미터 효율성을 향상시키며, 특히 데이터가 적은 환경에서 설계 선택의 타당성을 입증한다.