[논문 리뷰] Parameter-efficient Tuning of Large-scale Multimodal Foundation Model

Haixin Wang, Xinlong Yang외 6명|arXiv (Cornell University)|2023. 05. 15.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

이 논문은 대규모 다중모态 기초 모델을 위한 파라미터 효율적인 튜닝 프레임워크인 Aurora를 제안한다. 이는 모드 근사 기법을 사용하여 학습 가능한 파라미터를 단 0.1M(전체 모델의 약 0.04%)로 줄이며, 교차 모달 정렬을 향상시키기 위해 정보 기반 컨텍스트 강화 및 게이팅된 쿼리 변환 모듈을 도입한다. Aurora는 여섯 개인 교차 모달 벤치마크에서 최신 기술 성능(SOTA)을 달성했으며, 전체 파라미터의 0.05%만을 사용함에도 불구하고 전체 미세조정보다 뛰어난 성능을 보였다.

ABSTRACT

Driven by the progress of large-scale pre-training, parameter-efficient transfer learning has gained immense popularity across different subfields of Artificial Intelligence. The core is to adapt the model to downstream tasks with only a small set of parameters. Recently, researchers have leveraged such proven techniques in multimodal tasks and achieve promising results. However, two critical issues remain unresolved: how to further reduce the complexity with lightweight design and how to boost alignment between modalities under extremely low parameters. In this paper, we propose A graceful prompt framework for cross-modal transfer (Aurora) to overcome these challenges. Considering the redundancy in existing architectures, we first utilize the mode approximation to generate 0.1M trainable parameters to implement the multimodal prompt tuning, which explores the low intrinsic dimension with only 0.04% parameters of the pre-trained model. Then, for better modality alignment, we propose the Informative Context Enhancement and Gated Query Transformation module under extremely few parameters scenes. A thorough evaluation on six cross-modal benchmarks shows that it not only outperforms the state-of-the-art but even outperforms the full fine-tuning approach. Our code is available at: https://github.com/WillDreamer/Aurora.

연구 동기 및 목표

• 대규모 다중모달 기초 모델의 미세조정에 따른 높은 계산 및 저장 비용을 해결한다.
• 성능을 유지하거나 향상시키면서 전이 학습에서의 파라미터 의존도를 줄인다.
• 극도로 낮은 파라미터 예산 하에서 교차 모달 정렬을 향상시킨다.
• 소규모 최종 작업에 적합한 경량이면서도 효과적인 튜닝 프레임워크를 개발한다.
• 기존의 파라미터 효율적 방법들이 다중모달 환경에서 가지는 한계를 극복하기 위해 더 깊은 단모달 특징 융합을 통합한다.

제안 방법

• CANDECOMP/PARAFAC(CP) 분해 기반의 모드 근사를 적용하여 학습 가능한 파라미터를 단 0.1M로 생성하며, 최종 작업의 낮은 내재 차원성을 활용한다.
• 융합 이전에 단모달 특징를 컨텍스트 정보로 풍부하게 하는 정보 기반 컨텍스트 강화 모듈을 도입한다.
• 교차 모달 융합 중 텍스트 특징의 기여도를 적응적으로 제어하기 위해 게이팅된 쿼리 변환 모듈을 설계한다.
• 사전 훈련된 백본을 동결하고, 경량 어댑터 구성 요소만 미세조정하여 파라미터 업데이트를 최소화한다.
• 전체 미세조정을 피하면서도 모델 일반화 능력을 유지하는 경량 프롬프트 기반 프레임워크를 사용한다.
• 주의 메커니즘의 내재된 저랭크 구조를 활용하여 부정확한 부분을 줄이고, 작업에 관련된 특징에 집중한다.

실험 결과

연구 질문

• RQ1 학습 가능한 파라미터를 극도로 줄였을 때, 파라미터 효율적인 튜닝 방법이 다중모달 작업에서 최신 기술 성능(SOTA)을 달성할 수 있는가?
• RQ2 학습 가능한 파라미터 수가 극도로 제한된 상황에서 모달리티 정렬은 어떻게 향상시킬 수 있는가?
• RQ3 모드 근사는 다중모달 모델에서 최종 작업의 내재 차원성을 얼마나 효과적으로 포착할 수 있는가?
• RQ4 경량 어댑터가 효율성과 정확성 측면에서 전체 미세조정을 능가할 수 있는가?
• RQ5 제안된 방법은 다양한 교차 모달 벤치마크에 대해 얼마나 일반화되는가?

주요 결과

• Aurora는 이미지-텍스트 검색, 비디오-텍스트 검색, 시각적 질의 응답 등 여섯 개의 교차 모달 벤치마크에서 최신 기술 성능(SOTA)을 달성했다.
• MSRVTT 및 VQAv2 벤치마크에서, Aurora는 전체 파라미터의 약 0.05%만을 사용했음에도 불구하고, 각각 1.8%와 0.5% 높은 성능을 기록하며 전체 미세조정을 능가했다.
• 단지 0.1M의 학습 가능한 파라미터로도 강력한 성능를 달성했으며, 이는 사전 훈련된 모델의 파라미터 수의 0.04%에 불과하다.
• 정성적 분석 결과, Aurora는 비디오-텍스트 검색 및 시각적 질의 응답에서 UniAdapter보다 더 나은 일반화 성능를 보였으며, 더 정확하고 맥락에 부합하는 예측을 내놓았다.
• 파라미터 분포 시각화 결과, Aurora가 사전 훈련된 가중치를 국소적으로, 과적합되지 않게 적응시키며 일반화 능력을 유지함을 확인했다.
• 게이팅된 쿼리 변환 모듈이 텍스트 정보의 흐름을 효과적으로 제어하여, 낮은 파라미터 제약 하에서도 모달리티 정렬을 향상시켰다.