[논문 리뷰] Task Residual for Tuning Vision-Language Models

Changyuan Yu, Zhihe Lu외 3명|arXiv (Cornell University)|2022. 11. 18.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 사전 훈련된 텍스트 기반 분류기의 고정된 가중치에 작업에 특화된, 사전 지식에 의존하지 않는 파rameter(즉, '작업 잔차')를 추가하여 비전-언어 모델(VLM)의 효율적인 미세조정을 위한 간단하면서도 효과적인 방법인 Task Residual Tuning(TaskRes)을 제안한다. TaskRes는 11개의 벤치마크 데이터셋에서 기존의 프롬프트 튜닝 및 어댑터 스타일 튜닝과 비교해 뚜렷한 성능 향상을 보이며, 최소한의 구현 노력으로 최신 기술 수준의 성능을 달성한다—단 한 줄의 코드 변경만으로도 가능하다.

ABSTRACT

Large-scale vision-language models (VLMs) pre-trained on billion-level data have learned general visual representations and broad visual concepts. In principle, the well-learned knowledge structure of the VLMs should be inherited appropriately when being transferred to downstream tasks with limited data. However, most existing efficient transfer learning (ETL) approaches for VLMs either damage or are excessively biased towards the prior knowledge, e.g., prompt tuning (PT) discards the pre-trained text-based classifier and builds a new one while adapter-style tuning (AT) fully relies on the pre-trained features. To address this, we propose a new efficient tuning approach for VLMs named Task Residual Tuning (TaskRes), which performs directly on the text-based classifier and explicitly decouples the prior knowledge of the pre-trained models and new knowledge regarding a target task. Specifically, TaskRes keeps the original classifier weights from the VLMs frozen and obtains a new classifier for the target task by tuning a set of prior-independent parameters as a residual to the original one, which enables reliable prior knowledge preservation and flexible task-specific knowledge exploration. The proposed TaskRes is simple yet effective, which significantly outperforms previous ETL methods (e.g., PT and AT) on 11 benchmark datasets while requiring minimal effort for the implementation. Our code is available at https://github.com/geekyutao/TaskRes.

연구 동기 및 목표

• 비전-언어 모델을 위한 기존의 효율적 전이학습(ETL) 방법의 한계를 해결하기 위해, 이는 사전 지식을 손상시키거나 너무 많이 의존하는 경향이 있다.
• 미세조정 중에 사전 지식과 작업에 특화된 지식을 명시적으로 분리하여 강력한 사전 훈련된 표현을 유지하면서도 민첩한 적응을 가능하게 한다.
• 제한된 최종 데이터로도 높은 성능을 유지할 수 있는 단순하고 파라미터 효율적인 방법을 개발하기 위해.
• 다양한 최종 작업에서 학습된 작업 잔차의 크기와 전이 난이도 사이의 관계를 조사하기 위해.

제안 방법

• TaskRes는 사전 훈련된 텍스트 기반 분류기 가중치를 고정하고, 학습 가능한 사전 지식에 의존하지 않는 파라미터 세트를 원래 분류기에 잔차로 추가한다.
• 잔차는 가중치에 직접 덧셈 업데이트를 통해 추가된다: W_new = W_base + α × W_residual, 여기서 α는 스케일링 인자이다.
• 이 방법은 분류기 헤드에서만 작동하며, 텍스트 임베딩 재계산이나 아키텍처 수정을 방지한다.
• 작업 잔차는 나머지 모델과 함께 엔드 투 엔드로 훈련되며, 기본 분류기는 고정된 상태로 유지된다.
• 이 방법은 파라미터 효율적이며, 구현에 단 한 줄의 코드 변경만 필요하다.
• 이 방법은 다양한 비전 인코더(예: ResNet, ViT)와 여러 피셔트 설정에서 호환 가능하다.

실험 결과

연구 질문

• RQ1 TaskRes는 사전 지식을 유지하면서 최종 작업에 적응하는 데 있어 프롬프트 튜닝 및 어댑터 스타일 튜닝보다 어떻게 성능이 뛰어나며, 어떤가?
• RQ2 학습된 작업 잔차의 크기와 사전 훈련된 VLM을 새로운 작업으로 전이하는 데 있어 난이도 사이의 관계는 어떠한가?
• RQ3 단순하고 덧셈 기반의 잔차 메커니즘이 아키텍처 수정 없이도 소수의 샘플에서의 전이 성능을 크게 향상시킬 수 있는가?
• RQ4 성능 향상으로부터 보여지듯, 작업 잔차가 최종 작업의 복잡성에 자동으로 적응하는가?
• RQ5 다양한 시각적 백본(예: ResNet, ViT)이 TaskRes의 효과성에 어떤 영향을 미치는가?

주요 결과

• TaskRes는 1-shot에서 16-shot 설정까지 다양한 11개의 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며, Zero-shot CLIP, CoOp, CLIP-Adapter, Tip-Adapter-F를 모두 앞서간다.
• 1-shot 학습에서 ImageNet에서 TaskRes는 64.75%의 정확도를 기록했으며, Zero-shot CLIP(58.18%)와 CLIP-Adapter(63.59%)를 모두 뛰어넘었다.
• 학습된 작업 잔차의 크기는 상대적 전이 난이도와 강하게 상관되며, 더 어려운 작업일수록 크게 증가한다. 예를 들어, EuroSAT(1-shot 향상: 23.71%)와 DTD(1-shot 향상: 7.85%)에서 뚜렷한 향상이 관찰되었다.
• TaskRes는 ResNet-50, ResNet-101, ViT-B/32, ViT-B/16 등 다양한 시각적 백본에서 일관된 성능 향상을 보였으며, 기준 방법 대비 최대 2.5%의 향상이 있었다.
• 이러한 성과는 최소한의 구현 노력으로 달성되었으며, 기존 모델에 통합하기 위해 단 한 줄의 코드 변경만 필요했다.
• 전반적인 뛰어난 성능에도 불구하고, TaskRes는 두 개의 데이터셋(OxfordPets와 Food101)에서 부정적 전이를 보였으며, 이는 고난이도이자 고정밀도의 제로샷 시나리오에서의 한계를 시사한다.