[논문 리뷰] Composing Parameter-Efficient Modules with Arithmetic Operations

Jinghan Zhang, Shiqi Chen외 2명|arXiv (Cornell University)|2023. 06. 26.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 가중치 공간에서 선형 산술 연산(덧셈 및 부정)을 통해 훈련 없이도 파라미터 효율적 모듈(PEMs)을 조합하는 방법을 제안한다. 이를 통해 사전 훈련된 PEM들로부터 기술을 영리하게 통합함으로써 분포 일반화, 다중 작업, 삭제 학습, 도메인 전이 등 다양한 작업을 수행할 수 있다. 이 방법은 추가 미세조정 없이도 모든 설정에서 최신 기술 수준의 성능을 달성하며, Alpaca-LoRA의 독성 제거 시 독성 수준을 50% 이상 감소시킨다.

ABSTRACT

As an efficient alternative to conventional full finetuning, parameter-efficient finetuning (PEFT) is becoming the prevailing method to adapt pretrained language models. In PEFT, a lightweight module is learned on each dataset while the underlying pretrained language model remains unchanged, resulting in multiple compact modules representing diverse skills when applied to various domains and tasks. In this paper, we propose to compose these parameter-efficient modules through linear arithmetic operations in the weight space, thereby integrating different module capabilities. Specifically, we first define addition and negation operators for the module, and then further compose these two basic operators to perform flexible arithmetic. Our approach requires \emph{no additional training} and enables highly flexible module composition. We apply different arithmetic operations to compose the parameter-efficient modules for (1) distribution generalization, (2) multi-tasking, (3) unlearning, and (4) domain transfer. Additionally, we extend our approach to detoxify Alpaca-LoRA, the latest instruction-tuned large language model based on LLaMA. Empirical results demonstrate that our approach produces new and effective parameter-efficient modules that significantly outperform existing ones across all settings.

연구 동기 및 목표

• 다양한 최종 작업을 위해 사전 훈련된 파라미터 효율적 모듈(PEMs)을 영리하고 훈련 없이 조합할 수 있도록 하는 것.
• 다른 능력을 지닌 PEM들을 재훈련 없이 결합하는 도전 과제를 해결하는 것—다중 작업, 분포 일반화, 삭제 학습, 도메인 전이 등.
• LLaMA와 같은 현대적 대규모 언어 모델에 대한 PEM 조합을 확장하여, 모델 독성 제거와 같은 실용적 응용을 포함하는 것.
• 선형 산술 연산을 PEM 파라미터에 적용할 경우 기존의 조합 방법보다 우수한 성능을 낼 수 있는지 조사하는 것.
• 다양한 초기화 방법과 하이퍼파라미터에 대해 PEM 조합의 강인성 평가하기

제안 방법

• LoRA 및 (IA)3 PEM 아키텍처에 대해 덧셈 및 부정 연산자를 정의하여 파라미터 공간에서 선형 산술 조합을 가능하게 한다.
• 가중치가 부여된 선형 조합(예: α·PEM₁ + β·PEM₂)을 사용하여 기능을 통합하며, β = -1일 경우 삭제 학습을 위해 사용한다.
• 기본 모델이나 PEM들을 재훈련하지 않고도 학습된 어댑터 행렬에 직접 조합 연산을 적용한다.
• 하이퍼파라미터 λ를 사용하여 소스 PEM들 간의 균형을 조절하며, 검증 성능에 따라 최적화한다.
• 독성 PEM과 중립적 PEM을 조합하여 Alpaca-LoRA를 독성 제거하는 데 응용한다.
• 표준 자연어 처리 벤치마크를 사용하여 네 가지 설정—분포 일반화, 다중 작업, 삭제 학습, 도메인 전이—에서 접근 방식을 검증한다.

실험 결과

연구 질문

• RQ1 PEM 파라미터에 대한 선형 산술 연산이 재훈련 없이 다양한 모델 능력을 효과적으로 조합하는 데 가능할 수 있는가?
• RQ2 덧셈 및 부정을 통한 PEM 조합이 기준 방법 대비 다중 작업 학습 및 분포 일반화에서 성능이 어떻게 나타나는가?
• RQ3 PEM 조합을 통해 특정 모델 행동, 예를 들어 독성 출력 생성을 제거할 수 있는가?
• RQ4 모델 초기화 및 하이퍼파라미터의 변동에 대해 PEM 조합의 강인성은 어떠한가?
• RQ5 Alpaca-LoRA와 같은 대규모 지시 훈련된 언어 모델에 대해 PEM 조합를 통해 독성을 효과적으로 제거할 수 있으며, 비독성 입력에 대한 성능 유지는 유지할 수 있는가?

주요 결과

• 제안된 방법은 추가 훈련 없이도 모든 네 가지 설정—분포 일반화, 다중 작업, 삭제 학습, 도메인 전이—에서 뚜렷한 성능 향상을 달성한다.
• 도메인 전이 설정에서, 병합된 PEM은 Yelp 및 Amazon 데이터셋 모두에서 개별 PEM들을 초월했으며, 동일한 초기화일 경우 평균 +1.65% 향상, 다른 초기화일 경우 +1.18% 향상되었다.
• Alpaca-LoRA의 독성 제거에 있어, 병합된 PEM은 독성 점수를 50% 이상 감소시켰다(0.321에서 0.158로), 동시에 유용성 및 승리율은 유지 또는 향상시켰다.
• 수동 평가 결과 독성 지시문에서 36%의 승리율, 일반 지시문에서 27%의 승리율을 기록했으며, 높은 동점률(각각 40% 및 42%)을 보여, 인간 선호도와 강한 일치를 보였다.
• PEM들이 서로 다른 난수 시드로 초기화된 경우에도 병합된 모델가 여전히 뛰어난 성능을 유지하여 초기화 변동에 대한 강인성을 입증했다.
• 이 방법은 독성 출력을 효과적으로 제거하면서도 비독성 입력에 대한 성능을 유지하여 유해 행동의 삭제 학습을 효과적으로 수행함을 보여주었다.