[논문 리뷰] Parameter-Efficient Fine-Tuning for Large Models: A Comprehensive Survey

Zeyu Han, Chao Gao외 3명|arXiv (Cornell University)|2024. 03. 21.

Parallel Computing and Optimization Techniques인용 수 90

한 줄 요약

이 논문은 대형 모델에 대한 매개변수 효율적 파인튜닝(PEFT) 방법을 조사하고, 알고리즘을 분류하고, 성능 및 시스템 비용을 분석하며, 다 modality에서의 실세계 적용을 개관한다.

ABSTRACT

Large models represent a groundbreaking advancement in multiple application fields, enabling remarkable achievements across various tasks. However, their unprecedented scale comes with significant computational costs. These models, often consisting of billions of parameters, require vast amounts of computational resources for execution. Especially, the expansive scale and computational demands pose considerable challenges when customizing them for particular downstream tasks, particularly over the hardware platforms constrained by computational capabilities. Parameter Efficient Fine-Tuning (PEFT) provides a practical solution by efficiently adjusting the large models over the various downstream tasks. In particular, PEFT refers to the process of adjusting the parameters of a pre-trained large model to adapt it to a specific task or domain while minimizing the number of additional parameters introduced or computational resources required. This approach is particularly important when dealing with large-scale language models with high parameter counts, as fine-tuning these models from scratch can be computationally expensive and resource-intensive, posing considerable challenges in the supporting system platform design. In this survey, we present comprehensive studies of various PEFT algorithms, examining their performance and computational overhead. Moreover, we provide an overview of applications developed using different PEFT algorithms and discuss common techniques employed to mitigate computation costs for PEFT. In addition to providing an extensive survey from an algorithmic standpoint, we also examine various real-world system designs to investigate the implementation costs associated with different PEFT approaches. This survey serves as a valuable resource for researchers aiming to understand both the PEFT algorithm and its system implementation, offering detailed ......

연구 동기 및 목표

• 대형 사전학습 모델을 다운스트림 작업에 효과적으로 적응시킬 필요성을 제시한다.
• PEFT 알고리즘과 그 핵심 메커니즘을 체계적으로 분류한다.
• PEFT 방법의 계산 오버헤드와 실제 시스템 영향력을 평가한다.
• NLP, 비전, 멀티모달 모델 전반에 걸친 PEFT의 응용을 강조하고 배포에 관한 고려사항을 논의한다.

제안 방법

• PEFT 방법을 추가적(additive), 선택적(selective), 재매개변수화(reparameterized), 하이브리드(hybrid) 범주로 분류한다.
• 각 범주 내의 대표 알고리즘을 상세히 설명한다(예: 어댑터, 소프트 프롬프트, 프루닝, LoRA 및 파생 기법).
• 이러한 방법들이 매개변수를 어떻게 수정하거나 활용하여 효율성을 달성하는지 설명한다.
• 계산 비용 감소를 위한 기술들(KV 캐시 관리, 프루닝, 양자화, 메모리 최적화)을 분석한다.
• PEFT 배치를 위한 아키텍처 및 시스템 차원의 고려사항(분산 튜닝, 쿼리 서빙, 동시 튜닝)을 논의한다.
• LLMs, Vision Transformers, 비전-언어 모델, 확산 모델에 걸친 응용을 조사한다.

실험 결과

연구 질문

• RQ1 주요 PEFT 알고리즘 계열과 그 특성 메커니즘은 무엇인가?
• RQ2 추가적, 선택적, 재매개변수화, 하이브리드 PEFT 방법은 매개변수 효율성과 성능 측면에서 어떻게 비교되는가?
• RQ3 다양한 모델 계열과 작업에서 PEFT의 실용적 시스템 비용과 배포 고려사항은 무엇인가?
• RQ4 PEFT가 가장 큰 효과를 발휘하는 주요 응용 도메인 및 모델 아키텍처는 무엇인가?

주요 결과

• PEFT 방법은 크게 네 가지 범주(추가적, 선택적, 재매개변수화, 하이브리드)로 분류되며, 각 범주는 뚜렷한 설계 상의 Trade-off를 가진다.
• 어댑터, 소프트 프롬프트 및 기타 추가적 기법들이 전체 파인튜닝에 비해 매개변수 효율적인 대안을 제공하며, 효율성과 정확도 프로필은 다양하다.
• 선택적 PEFT는 마스크나 구조화된 프루닝을 사용하여 매개변수의 하위 집합을 미세 조정하고 하드웨어 효율성과 확장성을 향상시킨다.
• 재매개변수화된 PEFT, 특히 LoRA 및 그 변형들은 빠른 추론을 유지하면서 저랭크 업데이트를 학습하여 강한 효율성을 달성한다.
• 하이브리드 PEFT는 여러 범주의 아이디어를 결합하여 성능과 효율의 균형을 맞춘다.
• 이 연구는 분산 튜닝, PEFT 쿼리 서빙, 동시 튜닝 등 시스템 차원의 고려사항도 다루며, 실용적 배포 비용과 제약을 강조한다.
• 응용 분야는 LLM, Vision Transformers, 비전-언어 모델, 확산 모델에 걸쳐 있으며, 모달리티 전반에 걸친 PEFT의 다재다능함을 보여준다.