[논문 리뷰] Parameter Efficient Fine Tuning: A Comprehensive Analysis Across Applications

Charith Chandra Sai Balne, Sreyoshi Bhaduri외 3명|arXiv (Cornell University)|2024. 04. 21.

Neural Networks and Applications인용 수 5

한 줄 요약

이 설문은 파라미터 효율적 미세조정(PEFT) 방법을 도메인 간에 분석하고, LoRA, DoRA, LoReFT와 같은 전략을 비교하며 그 적용과 트레이드오프를 조사한다.

ABSTRACT

The rise of deep learning has marked significant progress in fields such as computer vision, natural language processing, and medical imaging, primarily through the adaptation of pre-trained models for specific tasks. Traditional fine-tuning methods, involving adjustments to all parameters, face challenges due to high computational and memory demands. This has led to the development of Parameter Efficient Fine-Tuning (PEFT) techniques, which selectively update parameters to balance computational efficiency with performance. This review examines PEFT approaches, offering a detailed comparison of various strategies highlighting applications across different domains, including text generation, medical imaging, protein modeling, and speech synthesis. By assessing the effectiveness of PEFT methods in reducing computational load, speeding up training, and lowering memory usage, this paper contributes to making deep learning more accessible and adaptable, facilitating its wider application and encouraging innovation in model optimization. Ultimately, the paper aims to contribute towards insights into PEFT's evolving landscape, guiding researchers and practitioners in overcoming the limitations of conventional fine-tuning approaches.

연구 동기 및 목표

• PEFT 방법의 최근 발전에 대한 포괄적 개요를 제공합니다.
• PEFT 전략을 효율성, 학습 속도, 메모리 사용 측면에서 비교합니다.
• 텍스트, 비전, 생물학, 음성 도메인에서의 응용을 강조합니다.
• PEFT를 통해 딥러닝의 민주화를 위한 도전과 향후 연구 방향을 식별합니다.

제안 방법

• 전체 미세조정의 기초적 문제와 PEFT의 동기를 논의합니다.
• 숨겨진 상태 정렬을 안내하기 위한 대표적인 PEFT 방정식: DII(b,s,R)=b+R^{ op}(Rs-Rb) 를 제시합니다.
• 다양한 PEFT 기법(LoRA, DoRA, Prefix Tuning, BitFit 등)과 그 파라미터 감소 효과를 비교합니다.
• 데이터 세트와 모델 크기에 따른 성능과 효율성의 트레이드오프를 요약합니다.
• 교차 도메인 응용 및 결과 표를 통해 경험적 발견을 제시합니다.

Figure 1: Comparative study of PEFT across different applications.

실험 결과

연구 질문

• RQ1 PEFT 방법들이 다양한 작업에서 매개변수 효율성과 성능 측면에서 어떻게 비교되나요?
• RQ2 다른 도메인(NLP, 비전, 생물학, 오디오)에서 PEFT 접근법의 주요 트레이드오프와 한계는 무엇인가요?
• RQ3 다양한 응용에서 정확도, 학습 속도, 자원 사용 사이의 실질적인 균형을 가장 잘 제공하는 PEFT 기법은 무엇인가요?

주요 결과

Method	Parameter reduction (%)	Advantages	Disadvantages
Full Fine-Tuning (ViT-B/16, BARD)	0	Performant baseline	High memory footprint (33B parameters)
Adapter Modules (Tiny)	85	Flexible, modular design	Requires hyperparameter tuning
Adapter Modules (Small)	75	Flexible, modular design	Requires hyperparameter tuning
LoRA	90	Memory efficient (3.3B parameters)	Limited control over updates
LoReFT	70-90	Memory efficient, potentially interpretable	Efficiency depends on task and hyperparameters
Prefix Tuning (Learned)	65	Simple implementation	May not capture complex video features
Sparse Fine-Tuning (40% pruning)	60	Memory efficient (13.2B parameters)	Requires careful selection of parameters
Sparse Fine-Tuning (80% pruning)	80	Extremely memory efficient (6.6B parameters)	Significant accuracy drop at high pruning ratio
BitFit (8-bit)	95	Extremely memory efficient (1.65B parameters)	Limited performance gains in high-data regime

• LoRA는 일반적으로 매개변수 효율성이 높고 성능 향상이 두드러집니다.
• LoReFT는 매우 작은 학습 가능 매개변수 분수로 상식 추론에서 여러 PEFT 방법보다 나은 성능을 보일 수 있습니다.
• 산술 추론에서는 LoRA와 어댑터가 종종 LoReFT보다 더 나은 경우가 있어 작업 의존적 효과를 시사합니다.
• 응용 전반에 걸쳐 PEFT 방법은 훈련 자원을 크게 줄이면서도 경쟁력 있는 성능을 유지합니다.
• 3D 및 비디오-텍스트 작업에서 AGAdapter 및 KAdaptation와 같은 특수 어댑터를 통해 현저한 이점을 보이며 도메인 간 효과를 확인합니다.

Figure 2: Illustration of workflow for the PEFT paradigm starting with a pre-trained model ( $\theta$ ), to which modifications such as additions, specifications, and reparameterizations are applied, effectively differentiating between frozen and tunable parameters to enhance model performance.