[논문 리뷰] TaCA: Upgrading Your Visual Foundation Model with Task-agnostic Compatible Adapter

Binjie Zhang, Yixiao Ge외 3명|arXiv (Cornell University)|2023. 06. 22.

Multimodal Machine Learning ApplicationsComputer Science인용 수 3

한 줄 요약

이 논문은 재학습 없이 시각적 기초 모델의 실시간 교체 업그레이드를 가능하게 하는 작업에 관계없는 호환성 있는 어댑터인 TaCA를 제안한다. 새로운 기초 모델의 잠재 표현을 기존 모델과 파arameter 효율적인 튜닝을 통해 정렬함으로써, 비디오-텍스트 검색, 비디오 분류, 시각적 질의 응답 등 다양한 작업에서 성능 향상을 달성하였으며, MSR-VTT에서 최대 +5.1% 향상 및 Kinetics-400에서 +2.2% 향상 달성.

ABSTRACT

Visual foundation models like CLIP excel in learning feature representations from extensive datasets through self-supervised methods, demonstrating remarkable transfer learning and generalization capabilities. A growing number of applications based on visual foundation models are emerging, including innovative solutions such as BLIP-2. These applications employ pre-trained CLIP models as upstream feature extractors and train various downstream modules to accomplish diverse tasks. In situations involving system upgrades that require updating the upstream foundation model, it becomes essential to re-train all downstream modules to adapt to the new foundation model, which is inflexible and inefficient. In this paper, we introduce a parameter-efficient and task-agnostic adapter, dubbed TaCA, that facilitates compatibility across distinct foundation models while ensuring enhanced performance for the new models. TaCA allows downstream applications to seamlessly integrate better-performing foundation models without necessitating retraining. We conduct extensive experimental validation of TaCA using different scales of models with up to one billion parameters on various tasks such as video-text retrieval, video recognition, and visual question answering. The results consistently demonstrate the emergent ability of TaCA on hot-plugging upgrades for visual foundation models. Codes and models will be available at https://github.com/TencentARC/TaCA.

연구 동기 및 목표

• 시각적 기초 모델을 업그레이드할 때 하류 모듈 재학습의 비효율성과 높은 비용을 해결하기 위해.
• 기존 하류 구성 요소를 수정하지 않고도 향상된 기초 모델을 기존 시스템에 원활하게 통합할 수 있도록 하기 위해.
• 새로운 기초 모델과 기존 기초 모델 간 잠재 공간에서의 호환성을 보장하는 작업에 관계없는 적응 메커니즘을 개발하기 위해.
• 더 강력한 기초 모델로 업그레이드함으로써 하류 작업에서 성능 향상을 이루되, 기존 하류 모듈과의 호환성을 유지하기 위해.
• Flamingo 및 BLIP-2와 같은 모듈식 프레임워크를 활용하여 실세계 다중모态 시스템에서 실시간 교체 업그레이드의 가능성과 효과성을 입증하기 위해.

제안 방법

• 새로운 시각적 기초 모델 위에 경량이며 파라미터 효율적인 어댑터(TaCA)를 훈련시켜, 그 잠재 표현을 원래 모델의 표현과 일치시킴.
• 차원 일치 프로젝터를 사용하여 새로운 모델의 특징을 이전 모델의 표현과 동일한 공간으로 투영함.
• 오래된 모델에서 유도된 L2 거리의 최소화를 목표로 하는 디스티illation 손실을 사용하여 TaCA를 최적화함.
• 새로운 시각적 특징과 오래된 텍스트 특징 간의 교차 attention을 활용한 대비 손실을 디스티illation 손실과 결합하여 다중모달 일치를 유지함.
• 기존 및 새로운 모델의 백본 파라미터를 고정하고, 훈련 중에는 오직 어댑터 및 프로젝터 구성 요소만 미세조정함.
• Flamingo 및 BLIP-2와 같은 모듈식 프레임워크에서 이 방법을 적용하여, 하류 모듈을 그대로 유지한 채로 시각 인코더를 TaCA가 강화된 모델로 교체함.

실험 결과

연구 질문

• RQ1 하류 모듈 재학습 없이도 실시간 교체 업그레이드를 가능하게 하는 파라미터 효율적인 어댑터를 설계할 수 있는가?
• RQ2 작업에 관계없는 어댑터를 통해 통합된 새로운 기초 모델이 하류 성능을 어느 정도 향상시킬 수 있는가?
• RQ3 모델 아키텍처 내에서 TaCA 어댑터의 위치가 성능 및 호환성에 어떤 영향을 미치는가?
• RQ4 더 강력한 기초 모델로 업그레이드할 때 제안된 방법이 다중모달 일치(예: 이미지-텍스트)를 유지하거나 향상시키는가?
• RQ5 TaCA는 비디오-텍스트 검색, 비디오 분류, 시각적 질의 응답과 같은 다양한 하류 작업에 일반화 가능한가?

주요 결과

• ViT-B/16 대신 TaCA-ViT-H/14를 사용함으로써 MSR-VTT에서 텍스트-비디오 검색 성능이 R@1 기준 +5.1% 향상됨.
• 동일한 업그레이드로 Kinetics-400에서 비디오 분류의 상위-1 정확도가 +2.2% 향상됨.
• VQAv2 벤치마크에서 TaCA-ViT-H/14는 OpenFlamingo(ViT-L/14)보다 제로샷 시각적 질의 응답에서 +0.6% 높은 성능 기록함.
• ViT-H/14 모델의 모든 레이어(1–24)에 TaCA 어댑터를 삽입한 경우가 기준선 대비 MSR-VTT에서 +2.6% 성능 향상을 기록하여 최고의 성능 달성함.
• 얕은 레이어(1–12)에 어댑터를 배치한 경우가 깊은 레이어(13–24)에 배치한 경우보다 성능이 뛰어나, 초기 레이어에서의 적응이 표현 정렬에 더 효과적임을 시사함.
• Flamingo 및 BLIP-2를 포함한 여러 프레임워크에서 일관된 성능 향상을 달성하여 광범위한 호환성과 확장성을 입증함.