[논문 리뷰] ReFT: Representation Finetuning for Language Models

Zhengxuan Wu, Aryaman Arora외 5명|arXiv (Cornell University)|2024. 04. 04.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 고정된 언어 모델의 은닉 표현을 수정하는 것만으로 가중치 업데이트 없이 파라미터 효율적인 방법을 제안한다. Representation Finetuning (ReFT)은 특히 LoReFT라는 변형을 통해 일반적인 추론, 산수, 지시어 훈련, GLUE 벤치마크에서 LoRA 대비 15배에서 65배 적은 파라미터로 최신 성능을 달성하며, 가중치 기반 PEFT보다 표현 편집이 더 효율적이고 효과적인 대안임을 입증한다.

ABSTRACT

Parameter-efficient finetuning (PEFT) methods seek to adapt large neural models via updates to a small number of weights. However, much prior interpretability work has shown that representations encode rich semantic information, suggesting that editing representations might be a more powerful alternative. We pursue this hypothesis by developing a family of Representation Finetuning (ReFT) methods. ReFT methods operate on a frozen base model and learn task-specific interventions on hidden representations. We define a strong instance of the ReFT family, Low-rank Linear Subspace ReFT (LoReFT), and we identify an ablation of this method that trades some performance for increased efficiency. Both are drop-in replacements for existing PEFTs and learn interventions that are 15x--65x more parameter-efficient than LoRA. We showcase LoReFT on eight commonsense reasoning tasks, four arithmetic reasoning tasks, instruction-tuning, and GLUE. In all these evaluations, our ReFTs deliver the best balance of efficiency and performance, and almost always outperform state-of-the-art PEFTs. We release a generic ReFT training library publicly at https://github.com/stanfordnlp/pyreft.

연구 동기 및 목표

• 큰 언어 모델의 훈련을 위해 표현 편집이 가중치 업데이트보다 더 효과적인가를 탐구하는 것.
• 기본 모델을 동결한 상태에서 은닉 표현에 대한 작업별 간섭을 학습하는 파라미터 효율적 방법의 가족인 ReFT를 개발하는 것.
• 은닉 표현을 최소한의 파라미터로 조작할 수 있도록 저질서 선형 부분공간을 사용하는 매우 효율적인 ReFT의 한 예인 LoReFT를 설계하는 것.
• 공동추론, 산수, 지시어 훈련, GLUE 등 다양한 벤치마크에서 ReFT를 평가하여 기존 PEFT보다 뛰어난 성능을 입증하는 것.
• 표현 기반 훈련의 광범위한 도입과 향후 연구를 가능하게 하기 위해 일반적인 ReFT 훈련 라이브러리를 공개하는 것.

제안 방법

• ReFT는 고정된 기본 언어 모델을 대상으로 하며, 훈련 중에 은닉 표현에 대한 작업별 간섭을 학습한다.
• 핵심 방법인 LoReFT는 분포 정렬 검색(DAS)에서 영감을 얻어 저질서 선형 부분공간을 사용하여 은닉 표현을 투영하고 수정한다.
• LoReFT는 은닉 상태에 적용되는 저질서 행렬을 통해 간섭을 매개화하여 효율적이고 효과적인 표현 편집을 가능하게 한다.
• DiReFT라는 분석 버전은 대각 행렬을 사용하여 파라미터를 추가로 줄여 효율성을 높이며, 성능 약화를 약간 감수한다.
• 간섭은 기본 모델 가중치를 동결한 채 표준 backpropagation를 통해 엔드 투 엔드로 훈련되며, 추론 시에 학습된 편집이 적용된다.
• 이 방법은 LoRA와 같은 기존 PEFT의 즉각적인 대체제로서 기본 모델 아키텍처에 대한 변경 없이도 작동한다.

실험 결과

연구 질문

• RQ1 고정된 언어 모델에서 은닉 표현을 편집하는 것이 가중치 기반 파라미터 효율적 훈련보다 더 높은 성능과 효율성을 달성할 수 있는가?
• RQ2 파라미터 효율성과 최종 작업 성능 측면에서 표현 편집은 가중치 업데이트와 어떻게 비교되는가?
• RQ3 은닉 표현에 저질서 선형 부분공간 간섭을 적용하면 LoRA와 같은 최신 PEFT의 성능을 따라하거나 초월할 수 있는가?
• RQ4 LoReFT는 특히 Llama-3 8B와 같은 더 큰 모델에서 효과적으로 스케일링되는가?
• RQ5 ReFT는 공통 추론, 산수, 지시어 훈련, 자연어 이해와 같은 다양한 NLP 작업으로 일반화되는가?

주요 결과

• LoReFT는 평가된 모든 벤치마크—공동추론, 산수, 지시어 훈련, GLUE—에서 최신 성능을 달성하며, LoRA 대비 15배에서 65배 적은 파라미터를 사용한다.
• LLaMA-3 8B 모델에서 LoReFT는 모든 작업에서 LoRA를 포함한 모든 기준 PEFT를 초월하여 뛰어난 효율성과 효과성을 입증한다.
• 공동추론 작업(예: BoolQ, HellaSwag)에서 LoReFT는 전체 훈련과 유사한 성능을 보이며, 업데이트되는 파라미터의 0.1%만으로도 달성한다.
• 산수 추론(예: GSM8K, AQuA)에서 LoReFT는 LoRA의 성능을 따라하거나 초월하며, 훨씬 적은 학습 가능한 파라미터를 사용한다.
• DiReFT 분석 버전은 성능 저하를 최소한으로 유지하면서도 더 높은 효율성을 확보하여 표현 편집이 매우 파라미터 효율적으로 만들 수 있음을 보여준다.
• ReFT 라이브러리는 https://github.com/stanfordnlp/pyreft 에 공개되어 재현성과 표현 기반 훈련 분야의 향후 연구를 가능하게 한다.