[논문 리뷰] Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning

Haokun Liu, Derek Tam외 5명|arXiv (Cornell University)|2022. 05. 11.

Topic Modeling인용 수 292

한 줄 요약

이 논문은 few-shot 매개변수 효율적 미세조정(PEFT), 특히 T-Few 레시피가 있는 IA3 기반의 새로운 방법이 컨텍스트 학습(ICL)보다 정확도에서 우수하면서 계산, 메모리, 저장 비용을 대폭 줄이고 RAFT에서 초인간 성능을 달성한다.

ABSTRACT

Few-shot in-context learning (ICL) enables pre-trained language models to perform a previously-unseen task without any gradient-based training by feeding a small number of training examples as part of the input. ICL incurs substantial computational, memory, and storage costs because it involves processing all of the training examples every time a prediction is made. Parameter-efficient fine-tuning (PEFT) (e.g. adapter modules, prompt tuning, sparse update methods, etc.) offers an alternative paradigm where a small set of parameters are trained to enable a model to perform the new task. In this paper, we rigorously compare few-shot ICL and PEFT and demonstrate that the latter offers better accuracy as well as dramatically lower computational costs. Along the way, we introduce a new PEFT method called (IA)$^3$ that scales activations by learned vectors, attaining stronger performance while only introducing a relatively tiny amount of new parameters. We also propose a simple recipe based on the T0 model called T-Few that can be applied to new tasks without task-specific tuning or modifications. We validate the effectiveness of T-Few on completely unseen tasks by applying it to the RAFT benchmark, attaining super-human performance for the first time and outperforming the state-of-the-art by 6% absolute. All of the code used in our experiments is publicly available.

연구 동기 및 목표

• 데이터가 매우 제한된 라벨 데이터로 사전 학습된 언어 모델을 새로운 작업에 적응시키기 위한 ICL에 대한 데이터 효율적 대안을 제시한다.
• 혼합 작업 추론으로 확장 가능하고 매개변수 업데이트가 최소화된 구체적인 PEFT 기반 레시피를 제안한다.
• 추가 손실 항을 통해 훈련 목표를 랭킹 기반 평가와 더 잘 정렬하도록 소수-shot 성능을 향상시킨다.

제안 방법

• 기본 모델로 T0-3B를 사용하고 새로운 PEFT 방법 IA)3를 적용하여 선택된 활성화 값을 곱 방식으로 조절한다.
• 레이어별로 키, 값, 피드포워드 활성화를 재스케일링하기 위해 세 개의 학습 벡터(l_k, l_v, l_ff)를 도입한다.
• 정답 선택의 랭킹을 개선하고 잘못된 선택을 억제하기 위해 L = L_LM + L_UL + L_LN 결합 목표를 사용하여 학습한다.
• IA3 매개변수를 T0에 사용된 다중 작업 혼합물에서 사전 학습한 다음 다운스트림 작업에서 미세 조정한다.
• 고정 프롬프트 템플릿(P3)을 적용하고, 작업 간 하이퍼파라미터 튜닝 없이 균일한 레시피로 Adafactor를 사용하여 1,000 스텝 학습한다.

실험 결과

연구 질문

• RQ1 IA3 기반의 경량 활성화 기반 적응으로 PEFT가 소수-shot 설정에서 전체 모델 미세조정과 대등하거나 우수하게 성능을 발휘할 수 있는가?
• RQ2 T-Few 레시피가 unseen 작업에 일반화되어 소량의 라벨 데이터로 혼합 작업 추론이 가능한가?
• RQ3 추가 손실 항(비가능성 및 길이 정규화)이 소수-shot 학습 성능에 어떤 영향을 미치는가?
• RQ4 작업 간 T-Few와 in-context 학습의 비교 가능한 계산, 메모리, 저장 비용은 어떻게 되는가?
• RQ5 RAfT와 같은 실제 소수-shot 벤치마크에서 이 접근법이 효과적인가?

주요 결과

• T-Few는 held-out T0 작업에서 GPT-3 변형을 포함한 강력한 ICL baselines를 일관되게 능가한다.
• T-Few는 held-out 작업에서 72.4%의 정확도를 달성하는 반면 GPT-3 175B는 66.6%, T0는 66.9%이다.
• RAFT에서 T-Few는 75.8%의 정확도에 도달하여 인간 기준선인 73.5%를 상회한다.
• IA3는 테스트된 PEFT 방법 중에서 전체 모델 미세조정보다 높은 정확도를 기록하면서 업데이트 매개변수 수는 훨씬 적은 유일한 방법이다(최대 10,000배 적은 매개변수 업데이트).
• T-Few(IA3) 학습은 디스크에 약 4.2 MB를 추가하고, 추론 비용은 ICL보다 현저히 낮다(GPT-3 175B의 41-shot 컨텍스트 비용은 1e15 FLOPs를 초과한다).
• 작업별 미세 조정 전에 IA3 매개변수를 선사전 학습하면 정확도가 향상된다(64.6에서 65.8로).