[論文レビュー] Composing Parameter-Efficient Modules with Arithmetic Operations

Jinghan Zhang, Shiqi Chen+2 more|arXiv (Cornell University)|Jun 26, 2023

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、重み空間における線形演算（加算と符号反転）を用いて、微調整を必要としないパラメータ効率的モジュール（PEMs）の合成手法を提案する。この手法により、事前学習済みPEMsから得られるスキルを柔軟に統合でき、分布一般化、マルチタスク学習、アンラーニング、ドメイン変換の各タスクに応用可能である。本手法は微調整なしで、あらゆる設定で最先端の性能を達成しており、Alpaca-LoRAのデトックス化においても毒性スコアを50%以上削減した。

ABSTRACT

As an efficient alternative to conventional full finetuning, parameter-efficient finetuning (PEFT) is becoming the prevailing method to adapt pretrained language models. In PEFT, a lightweight module is learned on each dataset while the underlying pretrained language model remains unchanged, resulting in multiple compact modules representing diverse skills when applied to various domains and tasks. In this paper, we propose to compose these parameter-efficient modules through linear arithmetic operations in the weight space, thereby integrating different module capabilities. Specifically, we first define addition and negation operators for the module, and then further compose these two basic operators to perform flexible arithmetic. Our approach requires \emph{no additional training} and enables highly flexible module composition. We apply different arithmetic operations to compose the parameter-efficient modules for (1) distribution generalization, (2) multi-tasking, (3) unlearning, and (4) domain transfer. Additionally, we extend our approach to detoxify Alpaca-LoRA, the latest instruction-tuned large language model based on LLaMA. Empirical results demonstrate that our approach produces new and effective parameter-efficient modules that significantly outperform existing ones across all settings.

研究の動機と目的

• 微調整を伴わず、多様な下流タスクに柔軟に適応可能な事前学習済みパラメータ効率的モジュール（PEMs）の合成を可能にすること。
• 微調整なしに、マルチタスク学習、分布一般化、アンラーニング、ドメイン変換といった異なる能力を持つPEMsを統合する課題に対処すること。
• LLaMAのような現代的な大規模言語モデルに対してもPEMsの合成を拡張し、モデルのデトックス化といった実用的応用を含めること。
• PEMパラメータに対する線形算術演算が、既存の合成手法と比較して優れた性能を示すかどうかを調査すること。
• 初期化方針やハイパーパrameterの変化に対して、PEMsの合成がどれほど頑健であるかを評価すること。

提案手法

• LoRAおよび(IA)3 PEMアーキテクチャに対して、加算および符号反転の演算子を定義し、パラメータ空間における線形算術的合成を可能にする。
• 重み付き線形結合（例：α·PEM₁ + β·PEM₂）を用いてPEMsを合成し、スキルを統合する。アンラーニングの目的ではβ = -1とする。
• ベースモデルやPEMsの再学習を伴わず、学習済みアダプタ行列に対して直接合成操作を適用する。
• ハイパーパrameter λを用いて、元のPEMs間のバランスを制御し、検証性能に最適化する。
• Alpaca-LoRAのデトックス化のために、有害なPEMと中立的なPEMを合成し、有害出力を低減する。
• 標準的なNLPベンチマークを用いて、4つの設定（分布一般化、マルチタスク学習、アンラーニング、ドメイン変換）において、手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 PEMパラメータに対する線形算術演算により、再学習なしに多様なモデル能力を効果的に合成できるか？
• RQ2 加算と符号反転によるPEM合成は、ベースライン手法と比較してマルチタスク学習および分布一般化の設定でどれほど優れた性能を示すか？
• RQ3 PEM合成を用いて、有害な出力を生成するような特定のモデル行動をアンラーニングできるか？
• RQ4 初期化方針やハイパーパrameterの変化に対して、PEM合成はどれほど頑健か？
• RQ5 Alpaca-LoRAのような大規模なインstructチューニング済み言語モデルに対して、PEM合成を用いて効果的にデトックス化できるか？また、非有害入力に対する性能は保持されるか？

主な発見

• 提案手法は、再学習なしに、すべての4つの設定（分布一般化、マルチタスク学習、アンラーニング、ドメイン変換）で顕著な性能向上を達成した。
• ドメイン変換の設定では、統合されたPEMがYelpおよびAmazonの両データセットで個々のPEMsを上回り、同じ初期化では平均で+1.65%、異なる初期化では+1.18%の向上を示した。
• Alpaca-LoRAのデトックス化において、統合されたPEMは毒性スコアを50%以上削減（0.321から0.158に）した一方で、有用性や勝率は維持または向上させた。
• 手動評価では、有害な指示に対して36%の勝率、通常の指示に対して27%の勝率を示し、それぞれ40%および42%の高い同点率を記録した。これは人間の好みと強い整合性を示している。
• 異なるランダムシードで初期化されたPEMsに対しても、統合モデルは高い性能を維持しており、初期化のばらつきに対して頑健であることが示された。
• 本手法は、有害行動のアンラーニングを効果的に行いながら、非有害入力に対する性能を保持した。