[논문 리뷰] Scaling Down to Scale Up: A Guide to Parameter-Efficient Fine-Tuning

Vladislav Lialin, Vijeta Deshpande외 2명|arXiv (Cornell University)|2023. 03. 28.

Topic Modeling인용 수 69

한 줄 요약

체계적 개요 및 파라미터-효율적 미세조정(PEFT) 방법의 분류 체계로, 2019-2023년의 40편 이상 논문을 비교하고 대규모 트랜스포머에서의 효율성, 트레이드오프, 및 해결해야 할 과제를 강조합니다.

ABSTRACT

This paper presents a systematic overview of parameter-efficient fine-tuning methods, covering over 50 papers published between early 2019 and mid-2024. These methods aim to address the challenges of fine-tuning large language models by training only a small subset of parameters. We provide a taxonomy that covers a broad range of methods and present a detailed method comparison with a specific focus on real-life efficiency in fine-tuning multibillion-scale language models. We also conduct an extensive head-to-head experimental comparison of 15 diverse PEFT methods, evaluating their performance and efficiency on models up to 11B parameters. Our findings reveal that methods previously shown to surpass a strong LoRA baseline face difficulties in resource-constrained settings, where hyperparameter optimization is limited and the network is fine-tuned only for a few epochs. Finally, we provide a set of practical recommendations for using PEFT methods and outline potential future research directions.

연구 동기 및 목표

• 2019년부터 2023년까지 PEFT 방법의 포괄적 분류 체계를 제공하고 40편 이상 논문을 분류한다.
• 저장소, 메모리, 계산, 정확도, 추론 오버헤드 측면에서 PEFT 접근법을 비교한다.
• 다중십억 매개변수를 가진 모델에서의 실제 효율성을 분석하고 실제 배포 고려사항을 식별한다.
• 해결되지 않은 문제를 강조하고 표준 벤치마크 및 향후 연구 방향에 대한 제안을 제시한다.

제안 방법

• PEFT 방법을 Addition-based, Selection-based, 및 Reparametrization-based 카테고리로 분류하고 하이브리드도 포함한다.
• Additive 하위 유형에는 Adapters와 Soft Prompts를 포함하고 대표적인 변형과 트레이드오프를 자세히 설명한다.
• 선택적 방법 및 Intrinsic SAID와 LoRa를 포함한 재매개변수화 기법을 설명하고, 메모리 및 매개변수 효율성 측면을 요약한다.
• 매개변수 수, 저장소, 메모리, 학습/추론 비용을 중심으로 교차 방법 비교를 제공한다.
• 의사코드 스니펫과 실용적 구현 노트를 제공하여 핵심 아이디어를 설명한다.

Figure 1: Basic Transformer block

실험 결과

연구 질문

• RQ1 저장소, 메모리, 계산 및 정확도 측면에서 주요 PEFT 패러다임과 그 트레이드오프는 무엇인가?
• RQ2 다중십억 매개변수 트랜스포머의 경우 모델 크기와 데이터 세트 복잡도에 따라 대표적인 PEFT 방법은 어떻게 확장되는가?
• RQ3 현실 세계의 설정에서 PEFT 방법을 벤치마킹하고 배포하기 위한 현재의 간격, 도전 과제, 그리고 실제 환경에서 PEFT 방법을 벤치마킹하고 배포하기 위한 모범 사례는 무엇인가?

주요 결과

• PEFT 방법은 학습 가능한 매개변수를 크게 줄이고, 전체 미세조정으로는 불가능했던 매우 큰 모델들까지 미세조정 가능하게 한다.
• Additive, selective, 및 Reparametrization-based PEFT 방법 각각은 고유한 메모리 및 계산 프로파일을 제공하며 모델 크기에 따라 적용 가능성이 다르다.
• 하이브리드 접근 방식은 여러 PEFT 클래스의 강점을 결합하여 한정된 매개변수 업데이트로도 우수한 정확도를 달성할 수 있다.
• 여전히 이론적 이해, 벤치마킹 표준 및 보고 관행에 격차가 있어 표준화된 PEFT 벤치마크와 더 깊은 하이퍼파라미터/해석 연구 방향을 제시한다.

Figure 2: Parameter-efficient fine-tuning methods taxonomy. We identify three main classes of methods: Addition -based, Selection -based, and Reparametrization -based. Within additive methods, we distinguish two large included groups: Adapter-like methods and Soft prompts .