[논문 리뷰] HyperTuning: Toward Adapting Large Language Models without Back-propagation

Jason Phang, Yi Mao외 2명|arXiv (Cornell University)|2022. 11. 22.

Topic Modeling인용 수 9

한 줄 요약

HyperTuning은 백프로파게이션을 사용하지 않고 대규모 언어 모델을 적응시키기 위한 새로운 패러다임을 제안한다. 소수의 few-shot 예제를 단일 순방향 전파로 입력받아 작업별로 특화된 파라미터 업데이트(예: 소프트 프리픽스 또는 LoRA 어댑터)를 생성하는 하이퍼모델을 사용한다. 이 방법은 미리 보지 않은 작업에서 뛰어난 제로샷 성능를 달성하며, 하이퍼모델이 생성한 파라미터를 초기화로 사용할 경우 후속 PEFT 미세조정 성능이 향상되어, 백프로파게이션 없이도 효율적인 모델 적응의 유망한 길을 제시한다.

ABSTRACT

Fine-tuning large language models for different tasks can be costly and inefficient, and even methods that reduce the number of tuned parameters still require full gradient-based optimization. We propose HyperTuning, a novel approach to model adaptation that uses a hypermodel to generate task-specific parameters for a fixed downstream model. We demonstrate a simple setup for hypertuning with HyperT5, a T5-based hypermodel that produces soft prefixes or LoRA parameters for a frozen T5 model from few-shot examples. We train HyperT5 in two stages: first, hyperpretraining with a modified conditional language modeling objective that trains a hypermodel to generate parameters; second, multi-task fine-tuning (MTF) on a large number of diverse language tasks. We evaluate HyperT5 on P3, MetaICL and Super-NaturalInstructions datasets, and show that it can effectively generate parameters for unseen tasks. Moreover, we show that using hypermodel-generated parameters as initializations for further parameter-efficient fine-tuning improves performance. HyperTuning can thus be a flexible and efficient way to leverage large language models for diverse downstream applications.

연구 동기 및 목표

• 대규모 언어 모델의 미세조정 과정에서 발생하는 높은 계산 비용 문제를 해결하기 위해.
• 주요 모델에서 기울기 계산 없이도 효과적인 파라미터 업데이트를 생성할 수 있는 별도의 하이퍼모델이 존재하는지 탐색하기 위해.
• 하이퍼모델이 생성한 파라미터가 향후 파라미터 효율적인 미세조정을 위한 더 나은 초기화로 기능할 수 있는지 평가하기 위해.
• 하이퍼프리트레인닝과 다중 작업 미세조정을 사용한 두 단계 훈련 절차의 실현 가능성을 입증하기 위해.

제안 방법

• 고정된 T5 기반의 후행 모델을 위해 하이퍼모델(HyperT5)이 작업별로 특화된 PEFT 파라미터(예: 소프트 프리픽스 또는 LoRA 행렬)를 생성하도록 훈련된다.
• 하이퍼모델은 먼저 소수의 예제에서 유효한 PEFT 파라미터를 생성할 수 있도록 수정된 조건부 언어 모델링 목적함수를 사용해 하이퍼프리트레인닝된다.
• 이후 다양한 1,000개 이상의 언어 작업에서 다중 작업 미세조정(MTF)을 수행하여 일반화 능력과 전이 가능성 향상이 이루어진다.
• 추론 과정에서 하이퍼모델은 단지 소수의 few-shot 예제만을 입력으로 받아 단일 순방향 전파로 PEFT 파라미터를 출력한다.
• 생성된 파라미터는 주요 모델의 백프로파게이션 없이도 고정된 T5 모델을 적응시키는 데 사용된다.
• 하이퍼모델이 생성한 파라미터는 표준 PEFT 방법(예: 프리픽스 튜닝 및 LoRA)의 초기화로 평가된다.

실험 결과

연구 질문

• RQ1 주요 언어 모델에 대한 백프로파게이션 없이도 하이퍼모델이 새로운 후행 작업에 대해 효과적인 PEFT 파라미터를 생성할 수 있는가?
• RQ2 하이퍼프리트레인닝 이후 다중 작업 미세조정으로 구성된 두 단계 훈련 절차가 하이퍼모델의 일반화 능력과 성능 향상에 기여하는가?
• RQ3 하이퍼모델이 생성한 파라미터가 후속 PEFT 미세조정을 위한 초기화로 랜덤 또는 공유 MTF 초기화보다 더 나은 성능을 보일 수 있는가?
• RQ4 하이퍼튜닝된 모델의 성능는 제로샷 및 소수의 예제 기반 벤치마크에서 표준 PEFT 및 전체 미세조정과 비교해 어떻게 되는가?

주요 결과

• HyperT5는 하이퍼모델이 생성한 파라미터를 사용해 프리픽스 튜닝을 수행했을 때 P3에서 평균 정확도 75.2%를 달성했으며, 랜덤 초기화 및 공유 MTF 초기화보다 뛰어난 성능를 보였다.
• PEFT에 사용되는 초기화로 활용했을 때 하이퍼모델이 생성한 파라미터는 수렴 속도가 빠르고 성능이 높았으며, P3 작업에서 LoRA 튜닝에 대해 평균 정확도 75.0%를 기록했다.
• 하이퍼모델이 생성한 초기화는 랜덤 또는 공유 초기화보다 훨씬 높은 성능에서 시작하여 전체 훈련 과정 내내 이점이 유지되었다.
• Super-NaturalInstructions 및 MetaICL 벤치마크에서 HyperT5는 새로운 작업에 대해 효과적인 PEFT 파라미터를 성공적으로 생성했으며, 강력한 제로샷 일반화 능력을 입증했다.
• 하이퍼프리트레인닝 이후 다중 작업 미세조정으로 구성된 두 단계 훈련 절차는 하이퍼모델이 다양한 후행 작업에 걸쳐 일반화할 수 있도록 효과적으로 기여했다.