[논문 리뷰] Parameter-Efficient Fine-Tuning for Foundation Models

Dan Zhang, Tao Feng외 4명|ArXiv.org|2025. 01. 23.

Numerical methods for differential equations인용 수 4

한 줄 요약

본 조사는 기초 모델 전반에 걸친 매개변수 효율적 파인튜닝(PEFT) 방법을 체계적으로 검토하고, 접근 방식(Selective, Additive, Prompt, Reparameterization, Hybrid)을 분류하며 경향, 적용 분야, 향후 방향을 개요로 제시한다.

ABSTRACT

This survey delves into the realm of Parameter-Efficient Fine-Tuning (PEFT) within the context of Foundation Models (FMs). PEFT, a cost-effective fine-tuning technique, minimizes parameters and computational complexity while striving for optimal downstream task performance. FMs, like ChatGPT, DALL-E, and LLaVA specialize in language understanding, generative tasks, and multimodal tasks, trained on diverse datasets spanning text, images, and videos. The diversity of FMs guides various adaptation strategies for PEFT. Therefore, this survey aims to provide a comprehensive overview of PEFT techniques applied to diverse FMs and address critical gaps in understanding the techniques, trends, and applications. We start by providing a detailed development of FMs and PEFT. Subsequently, we systematically review the key categories and core mechanisms of PEFT across diverse FMs to offer a comprehensive understanding of trends. We also explore the most recent applications across various FMs to demonstrate the versatility of PEFT, shedding light on the integration of systematic PEFT methods with a range of FMs. Furthermore, we identify potential research and development directions for improving PEFTs in the future. This survey provides a valuable resource for both newcomers and experts seeking to understand and use the power of PEFT across FMs. All reviewed papers are listed at \url{https://github.com/THUDM/Awesome-Parameter-Efficient-Fine-Tuning-for-Foundation-Models}.

연구 동기 및 목표

• 기초 모델과 PEFT의 필요성을 설명하여 학습 비용 감소의 중요성을 제시한다.
• 다섯 가지 FM 구조(LLM, VFM, VLM, MFM, VGM)에 걸친 PEFT 방법을 조사하고 분류한다.
• PEFT 기법의 설계 선택, 트레이드오프 및 적용 가능성을 분석한다.
• 현재 적용 사례를 요약하고 열린 도전과제와 향후 방향을 제시한다.

제안 방법

• 입력 모달리티와 작업에 따라 기초 모델을 정의하고 분류한다.
• 다섯 가지 PEFT 범주인 Selective, Additive, Prompt, Reparameterization, Hybrid PEFT를 도입한다.
• 각 범주 내 대표 기법과 메커니즘(예: 어댑터, 프롬프트, 마스크, 재매개변화)을 자세히 설명한다.
• 다양한 FM에 걸친 적용 시 장점과 단점을 비교하고 배포 고려사항을 논의한다.
• 최근 LLMs, VFMs, VLMs, MFMs, VGMs에 대한 적용을 조사한다.
• 향후 연구 방향과 잠재적 통합 프레임워크를 제시한다.

Figure 1: An overview of trends in PEFT methods in various FMs (LLM, VFM, VLM, MFM, and VGM). The number of citations from Semantic Scholar serves as a trend indicator.

실험 결과

연구 질문

• RQ1 다른 모달리티에 걸쳐 기초 모델을 적응시키기 위해 사용되는 주요 PEFT 전략은 무엇인가?
• RQ2 Selective, Additive, Prompt, Reparameterization, Hybrid PEFT 방법은 학습 가능한 매개변수, 성능, 배포 트레이드오프 측면에서 어떻게 비교되는가?
• RQ3 LLMs, VFMs, VLMs, MFMs, VGMs에 대한 PEFT의 현재 적용 추세와 격차는 무엇인가?
• RQ4 다양한 기초 모델에 걸쳐 PEFT 방법을 통합할 수 있는 향후 방향은 무엇인가?

주요 결과

• PEFT는 학습 가능한 매개변수와 계산 오버헤드를 크게 줄이면서도 거의 전체 파인튜닝에 버금가는 성능을 목표로 한다.
• 다섯 가지 PEFT 계열은 selective, additive, prompt, reparameterization, hybrid로 식별되며 각기 다른 메커니즘과 트레이드오프를 가진다.
• LLMs, VFMs, VLMs, MFMs, VGMs 전반에서 어댑터, 프롬프트, 매개변수화가 지배적인 기법이다.
• 고정된 선택적 튜닝과 비교할 때 자동 및 자동-기준 기반 선택 방법은 메모리/시간의 유연한 트레이드오프를 제공한다.
• 하이브리드 접근 방식과 교차 모달 적응은 더 넓은 전이 학습 및 효율성에 대한 가능성을 보여준다.
• 현재의 조사는 PEFT에 대한 활발한 활동이 증가하고 있으며 LLMs와 비전 기초 모델에 대한 강한 강조를 보이고 있다.

Figure 2: Left: Versatile scenarios and applications in the era of FMs. Right: A detailed illustration of four common PEFT methods ( Selective , Additive , Prompt , and Reparameterization PEFT).