[논문 리뷰] Non-Intrusive Adaptation: Input-Centric Parameter-efficient Fine-Tuning for Versatile Multimodal Modeling

Yaqing Wang, Jialin Wu외 9명|arXiv (Cornell University)|2023. 10. 18.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 입력 중심의 파rameter 효율적인 미세조정 방법인 AdaLink를 소개한다. 이 방법은 입력 임bedding과 트랜스포머 블록 사이에 경량의 저질서 MLP 모듈을 삽입하여, 모델 아키텍처를 그대로 유지하면서도 전체 미세조정 수준의 성능을 달성한다. AdaLink는 모델 파라미터의 0.02% 미만을 사용하여 텍스트 및 다중모달 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Large language models (LLMs) and vision language models (VLMs) demonstrate excellent performance on a wide range of tasks by scaling up parameter counts from O(10^9) to O(10^{12}) levels and further beyond. These large scales make it impossible to adapt and deploy fully specialized models given a task of interest. Parameter-efficient fine-tuning (PEFT) emerges as a promising direction to tackle the adaptation and serving challenges for such large models. We categorize PEFT techniques into two types: intrusive and non-intrusive. Intrusive PEFT techniques directly change a model's internal architecture. Though more flexible, they introduce significant complexities for training and serving. Non-intrusive PEFT techniques leave the internal architecture unchanged and only adapt model-external parameters, such as embeddings for input. In this work, we describe AdaLink as a non-intrusive PEFT technique that achieves competitive performance compared to SoTA intrusive PEFT (LoRA) and full model fine-tuning (FT) on various tasks. We evaluate using both text-only and multimodal tasks, with experiments that account for both parameter-count scaling and training regime (with and without instruction tuning).

연구 동기 및 목표

• 대규모 시각-언어 모델을 내부 아키텍처를 변경하지 않고 효율적으로 적응시키는 문제를 해결하기 위해.
• 복잡하고 다중모달 작업에서 기존의 비침습적 PEFT 방법(예: 프롬프트 튜닝)이 겪는 최적화 어려움과 성능 한계를 극복하기 위해.
• 파라미터 효율적이고 모듈화되어 있으며 다양한 작업과 모델 규모 간 호환성을 유지하는 적응 기법을 개발하기 위해.
• 원시 및 지시 훈련된 LLM을 대상으로 AdaLink의 효과성을 평가하여, 특히 다중모달 및 다중작업 환경에서의 성능을 확보하기 위해.

제안 방법

• AdaLink는 입력 임베딩과 주요 트랜스포머 블록 사이에 경량의 저질서 MLP 모듈을 삽입하여 학습 가능한 어댑터 레이어로 기능한다.
• 어댑터 가중치에 '제로 초기화'를 사용하여 학습을 안정화시키고, 프롬프트 기반 방법에서 흔히 발생하는 초기 최적화 문제를 방지한다.
• 특정 입력 임베딩만 선택적으로 수정함으로써 부분적 입력 적응을 가능하게 하여, 다양한 모odal 간 또는 작업 간 간섭을 최소화한다.
• 어댑터의 계산 비용은 임bedding 차원에 대해 선형적으로 증가하므로, 시퀀스 길이 증가로 인한 프롬프트 튜닝에서의 제곱 증가를 피한다.
• 이 방법은 비침습적이다: 핵심 트랜스포머 아키텍처와 사전 훈련된 가중치는 그대로 유지되어 모델 호환성과 단순성을 유지한다.
• 사용자 정의 가능한 서빙과 모듈화된 배포를 지원하여, 다양한 작업에 맞는 다른 적응 모듈을 동적으로 로드할 수 있다.

Figure 1: Overview of AdaLink . Only newly added AdaLink modules are learnable while maintaining other components frozen. The different data is first fed into embedding layer and then goes through the corresponding AdaLink respectively before main shared Transformer Blocks for adaptation per scenari

실험 결과

연구 질문

• RQ1 비침습적이고 입력 중심의 PEFT 방법이 다중모달 및 텍스트 전용 작업에서 전체 미세조정 성능에 비견될 수 있는가?
• RQ2 LoRA 및 프롬프트 튜닝과 같은 침습적 PEFT 방법과 비교할 때 AdaLink는 최적화 안정성과 최종 성능 측면에서 어떻게 다른가?
• RQ3 지시 훈련과 AdaLink를 결합하면 필요한 적응 파라미터 수가 더 줄어들고 일반화 성능이 향상되는가?
• RQ4 AdaLink는 다양한 모델 크기와 파라미터 수에 걸쳐 강력한 성능을 유지할 수 있는가?
• RQ5 AdaLink의 부분적 입력 적응이 다중모달 환경에서 모odal 정렬과 작업 일반화에 어떤 영향을 미치는가?

주요 결과

• AdaLink는 모델의 파라미터의 0.02% 미만을 사용하여 텍스트 및 다중모달 작업 모두에서 전체 미세조정과 경쟁하거나 더 우수한 성능을 달성한다.
• 특히 복잡하고 다중작업 환경에서 프롬프트 튜닝보다 최적화 안정성과 최종 성능에서 뛰어나다.
• 지시 훈련된 모델에 AdaLink를 적용한 경우 더 적은 적응 파라미터가 필요하고 수렴 속도가 빠르며 성능 향상이 뚜렷하다.
• AdaLink는 임베딩 차원에 대해 선형 계산 복잡도를 유지하여 프롬프트 튜닝의 제곱 비용을 피한다.
• 모듈화되고 비침습적인 설계 덕분에 아키텍처 변경 없이도 다양한 작업에 대해 유연하고 확장 가능하며 신뢰할 수 있는 배포가 가능하다.
• 실험 결과에 따르면 AdaLink는 시각적 토큰 위치를 효과적으로 유지하며, VQA 및 이미지 캡션과 같은 시각-언어 작업에서 뛰어난 성능을 발휘한다.