[논문 리뷰] Multitask Vision-Language Prompt Tuning

Sheng Shen, Shijia Yang외 5명|arXiv (Cornell University)|2022. 11. 21.

Multimodal Machine Learning Applications인용 수 13

한 줄 요약

이 논문은 다중 작업 시각-언어 프롬프트 튜닝(MVLPT)이라는 새로운 프레임워크를 제안한다. 이 프레임워크는 다중 작업 프롬프트 초기화와 다중 작업 프롬프트 적응을 통해 교차 작업 지식을 공유함으로써 시각-언어 모델의 소수 샘플 적응을 향상시킨다. 여러 원천 작업에서 함께 프롬프트를 학습하고 목표 작업 미세조정 시 공유된 표현을 활용함으로써 MVLPT는 20샷 엘레베이터 벤치마크에서 최신 기술 성능(SOTA)을 달성하고, 20개의 시각 작업 간의 교차 작업 일반화를 향상시킨다.

ABSTRACT

Prompt Tuning, conditioning on task-specific learned prompt vectors, has emerged as a data-efficient and parameter-efficient method for adapting large pretrained vision-language models to multiple downstream tasks. However, existing approaches usually consider learning prompt vectors for each task independently from scratch, thereby failing to exploit the rich shareable knowledge across different vision-language tasks. In this paper, we propose multitask vision-language prompt tuning (MVLPT), which incorporates cross-task knowledge into prompt tuning for vision-language models. Specifically, (i) we demonstrate the effectiveness of learning a single transferable prompt from multiple source tasks to initialize the prompt for each target task; (ii) we show many target tasks can benefit each other from sharing prompt vectors and thus can be jointly learned via multitask prompt tuning. We benchmark the proposed MVLPT using three representative prompt tuning methods, namely text prompt tuning, visual prompt tuning, and the unified vision-language prompt tuning. Results in 20 vision tasks demonstrate that the proposed approach outperforms all single-task baseline prompt tuning methods, setting the new state-of-the-art on the few-shot ELEVATER benchmarks and cross-task generalization benchmarks. To understand where the cross-task knowledge is most effective, we also conduct a large-scale study on task transferability with 20 vision tasks in 400 combinations for each prompt tuning method. It shows that the most performant MVLPT for each prompt tuning method prefers different task combinations and many tasks can benefit each other, depending on their visual similarity and label similarity. Code is available at https://github.com/sIncerass/MVLPT.

연구 동기 및 목표

• 단일 작업 프롬프트 튜닝의 한계를 해결하기 위해, 이는 작업 간 공유 지식을 활용하지 못함.
• 프롬프트 튜닝 중 교차 작업 지식을 활용하여 소수 샘플 적응의 효율성과 성능을 향상시키기 위해.
• 일괄적인 프레임워크를 개발하여 다중 작업 간 프롬프트 초기화 및 적응을 가능하게 하여 일반화 능력을 향상시키기 위해.
• 다중 작업 프롬프트 튜닝을 위한 효과적인 작업 그룹화를 식별하기 위해 작업 이행 가능성(transferability)을 조사하기 위해.
• MVLPT가 다양한 시각-언어 프롬프트 튜닝 방법과 모델 크기에서 확장성과 효과성을 입증하기 위해.

제안 방법

• 이중 단계 MVLPT 프레임워크 제안: (1) 다수의 원천 작업에서 훈련된 공유 프롬프트 벡터를 사용한 다중 작업 프롬프트 초기화, (2) 관련 목표 작업을 그룹화하여 공동 튜닝을 수행하는 다중 작업 프롬프트 적응.
• 다양한 원천 작업(예: 11개의 이미지 분류 작업)에서 유일한 이식 가능한 프롬프트를 사용해 새로운 목표 작업의 프롬프트를 초기화함으로써 초기화 품질을 향상시킴.
• 그룹화된 목표 작업 간 공동 최적화를 적용하여 지식 공유를 가능하게 하고 프롬프트 적응 중 일반화 능력을 향상시킴.
• 텍스트 프롬프트 튜닝(MCoOp), 시각 프롬프트 튜닝(MVPT), 통합 시각-언어 프롬프트 튜닝(MUPT)의 세 가지 프롬프트 튜닝 변형을 지원하며, 모두 다중 작업 학습 기반으로 확장함.
• 컨텍스트 길이, 원천 작업 선택, 모델 스케일링에 대한 분석을 통해 설계 선택의 타당성을 검증함.
• 20개의 시각 작업을 대상으로 한 대규모 400가지 조합 분석을 수행하여 작업 이행 가능성 평가 및 효과적인 작업 그룹화 안내.

Figure 1 : Our MVLPT approach (MCoOp, MVPT, MUPT) —which transfers a prompt learned from a mixture of source tasks (here, 11 Image Classification tasks) onto non-overlapped target tasks— outperforms vanilla CoOp [ 103 ] , VPT [ 36 ] on 12 Elevater tasks by a large margin, across all CLIP model sizes

실험 결과

연구 질문

• RQ1 다양한 원천 작업에서의 교차 작업 지식이 후행 시각-언어 작업의 프롬프트 초기화를 향상시킬 수 있는가?
• RQ2 유사한 목표 작업들 간에 공동 다중 작업 프롬프트 적응을 수행할 경우 단일 작업 튜닝보다 성능과 일반화 능력이 향상되는가?
• RQ3 어떤 시각 작업 조합이 다중 작업 프롬프트 튜닝에서 가장 큰 이점을 얻는가? 그리고 이행 가능성에 영향을 주는 요인들(예: 시각적 유사성 또는 레이블 유사성)은 무엇인가?
• RQ4 MVLPT는 다양한 시각-언어 모델 아키텍처(ViT-B/32, ViT-B/16, ViT-L/14)와 컨텍스트 길이에서 어떻게 확장되는가?
• RQ5 원천 작업의 다양성과 구성은 다중 작업 프롬프트 초기화 성능에 어떤 영향을 미치는가?

주요 결과

• 20샷 엘레베이터 벤치마크에서 MVLPT는 CoOp, VPT, UPT와 같은 모든 단일 작업 베이스라인 방법을 능가하며, 각각 0.72%, 1.73%, 0.99% 향상된 새로운 SOTA 성능 달성.
• 교차 작업 일반화 벤치마크에서 MVLPT는 CoOp, VPT, UPT를 각각 1.73%, 4.75%, 4.53% 향상시켜 강력한 일반화 능력을 입증함.
• 11개의 원천 작업(예: ImageNet1K 포함)을 사용한 다중 작업 프롬프트 초기화가 최고의 성능를 기록했으며, MVPT와 MUPT는 단일 작업 베이스라인 대비 뚜렷한 성능 향상을 보임.
• 긴 컨텍스트 길이(16 토큰)는 MVPT와 MCoOp의 성능 향상에 기여하지만, MUPT는 약간의 부정적 영향 또는 미미한 영향을 보이며 통합 튜닝에서 컨텍스트 길이에 민감할 수 있음을 시사함.
• 가장 효과적인 MVLPT 설정은 작업 유사성에 따라 달라지며, 높은 시각적 또는 레이블 유사성을 가진 작업들은 공유 프롬프트 학습에서 더 큰 이점을 얻는다.
• 스케일링 실험 결과 MVLPT는 ViT-B/32에서 ViT-L/14까지의 다양한 모델 크기에서 뛰어난 성능를 유지함을 확인하여 광범위한 적용 가능성과 파rameter 효율성을 입증함.

Figure 2 : An illustration of our multitask prompt initialization (left) and multitask prompt adaptation (right) approaches in MVLPT. Left : We learn single generic source prompt vector on various source tasks , which is then used to initialize the prompt for each single target task . Right : After