[논문 리뷰] AutoPEFT: Automatic Configuration Search for Parameter-Efficient Fine-Tuning

Han Zhou, Xingchen Wan외 2명|arXiv (Cornell University)|2023. 01. 28.

VLSI and Analog Circuit Testing인용 수 5

한 줄 요약

AutoPEFT는 다목적 베이지안 최적화를 사용하여 최적의 파라미터 효율적 미세조정(PEFT) 설정을 자동으로 탐색하는 프레임워크를 제안한다. 이는 다양한 PEFT 모듈(예: 어댑터, 프리픽스 튜닝), 모듈 크기, 삽입 레이어를 포함하는 포괄적인 검색 공간을 탐색하며, 기존 PEFT 방법을 뛰어넘는 성능을 내며 훨씬 적은 학습 가능한 파라미터로 전체 미세조정 성능에 도달하는 설정을 발견한다.

ABSTRACT

Large pretrained language models are widely used in downstream NLP tasks via task-specific fine-tuning, but such procedures can be costly. Recently, Parameter-Efficient Fine-Tuning (PEFT) methods have achieved strong task performance while updating much fewer parameters than full model fine-tuning (FFT). However, it is non-trivial to make informed design choices on the PEFT configurations, such as their architecture, the number of tunable parameters, and even the layers in which the PEFT modules are inserted. Consequently, it is highly likely that the current, manually designed configurations are suboptimal in terms of their performance-efficiency trade-off. Inspired by advances in neural architecture search, we propose AutoPEFT for automatic PEFT configuration selection: we first design an expressive configuration search space with multiple representative PEFT modules as building blocks. Using multi-objective Bayesian optimisation in a low-cost setup, we then discover a Pareto-optimal set of configurations with strong performance-cost trade-offs across different numbers of parameters that are also highly transferable across different tasks. Empirically, on GLUE and SuperGLUE tasks, we show that AutoPEFT-discovered configurations significantly outperform existing PEFT methods and are on par or better than FFT without incurring substantial training efficiency costs.

연구 동기 및 목표

• 사전학습된 언어 모델을 위한 수작업으로 설계된 PEFT 설정의 최적화되지 않은 성능-효율성 트레이드오프 문제를 해결하기 위해.
• 다양한 PEFT 모듈, 모듈 크기, 삽입 레이어 선택을 포함하는 통합적이고 표현력 있는 검색 공간을 개발하기 위해.
• 작업 정확도와 파라미터 효율성을 균형 잡는 파레토 최적의 PEFT 설정을 자동으로 발견하기 위해.
• 최소한의 재학습으로 다양한 NLP 작업 간에 발견된 설정의 이식 가능성을 향상시키기 위해.
• 수작업 PEFT 초모수 튜닝의 계산 및 엔지니어링 부담을 줄이기 위해 자동화되고 확장 가능한 검색을 통해 실현하기 위해.

제안 방법

• 직렬 어댑터, 병렬 어댑터, 프리픽스 튜닝, 모듈 차원성, 삽입 레이어 선택을 통합한 포괄적인 PEFT 설정 검색 공간을 설계하기 위해.
• 하류 작업 성능을 최대화하고 학습 가능한 파라미터 수를 최소화하는 다목적 베이지안 최적화를 적용하기 위해.
• 검색 비용을 크게 줄이면서도 설정 품질을 유지하기 위해 저정밀도 프록시(1에포크 학습)를 사용하기 위해.
• 일부 저자원 작업에서 최고 성능을 보인 설정을 여러 하류 작업으로 이식하여 일반화 성능 평가하기 위해.
• 더 높은 계산 예산을 사용해 각 작업별로 AutoPEFT 검색을 수행하여 성능을 추가로 향상시키기 위해.
• 레이어 선택 및 모듈 조합과 같은 검색 공간 구성 요소의 영향을 평가하기 위해 분석 실험을 수행하기 위해.

실험 결과

연구 질문

• RQ1 자동화된 프레임워크는 다양한 NLP 작업에서 수작업으로 설계된 기준 설정을 뛰어넘는 PEFT 설정을 발견할 수 있는가?
• RQ2 단일 AutoPEFT로 발견된 설정은 GLUE 및 SuperGLUE 작업 다수에 얼마나 잘 일반화되는가?
• RQ3 다양한 PEFT 모듈 유형과 동적 레이어 선택의 포함 여부가 성능-효율성 트레이드오프에 어떤 영향을 미치는가?
• RQ4 저정밀도 환경에서의 다목적 베이지안 최적화가 높은 성능을 보이며 파라미터 효율적인 PEFT 설정을 효과적으로 식별할 수 있는가?
• RQ5 정확도와 학습 효율성 측면에서 AutoPEFT는 전체 미세조정과 어떻게 비교되는가?

주요 결과

• AutoPEFT로 발견된 설정은 GLUE 및 SuperGLUE 벤치마크에서 기존 PEFT 방법을 뛰어넘는 성능을 보이며, 훨씬 적은 학습 가능한 파라미터로 최신 기술 수준의 성능을 달성한다.
• BERT-large에서 레이어 선택을 적용한 AutoPEFT는 단지 10개의 PEFT 레이어와 128의 은닉 차원을 사용해 RTE 정확도 73.86%를 기록했으며, 이는 더 적은 파라미터로 AdapterDrop(73.50%)과 Adaptable Adapter(73.36%)를 모두 뛰어넘는 성능이다.
• 이 프레임워크는 GLUE 작업에서 전체 미세조정 성능을 유지하면서도 학습 가능한 파라미터를 최대 10배까지 줄였다.
• 분석 실험 결과, 여러 PEFT 모듈을 조합하고 동적 레이어 선택을 적용할 경우 고정 설정 대비 성능-효율성 트레이드오프가 크게 향상됨을 확인했다.
• AutoPEFT 설정의 이식 가능성은 매우 높다: 단일 작업에서 학습된 설정이 다른 작업으로 이식될 때 성능 저하가 최소한이었다.
• AutoPEFT는 검색 공간에 대한 민감도가 없음을 입증했으며, 다양한 정도의 정밀도와 복잡성의 설정을 효과적으로 탐색할 수 있었다.