[論文レビュー] ReFT: Representation Finetuning for Language Models

Zhengxuan Wu, Aryaman Arora+5 more|arXiv (Cornell University)|Apr 4, 2024

Natural Language Processing Techniques被引用数 4

ひとこと要約

この論文では、重みの更新ではなく、固定された言語モデルの隠れ表現を編集する、パラメータ効率の良い新規手法であるRepresentation Finetuning (ReFT) を紹介する。ReFT、特にそのLoReFTバージョンは、常識的推論、算術、指示微調整、GLUEベンチマークにおいて、LoRAと比較して15倍〜65倍も少ないパラメータで最先端の性能を達成しており、重みベースのPEFTとは異なり、表現編集がより効率的で効果的な代替手法であることが示された。

ABSTRACT

Parameter-efficient finetuning (PEFT) methods seek to adapt large neural models via updates to a small number of weights. However, much prior interpretability work has shown that representations encode rich semantic information, suggesting that editing representations might be a more powerful alternative. We pursue this hypothesis by developing a family of Representation Finetuning (ReFT) methods. ReFT methods operate on a frozen base model and learn task-specific interventions on hidden representations. We define a strong instance of the ReFT family, Low-rank Linear Subspace ReFT (LoReFT), and we identify an ablation of this method that trades some performance for increased efficiency. Both are drop-in replacements for existing PEFTs and learn interventions that are 15x--65x more parameter-efficient than LoRA. We showcase LoReFT on eight commonsense reasoning tasks, four arithmetic reasoning tasks, instruction-tuning, and GLUE. In all these evaluations, our ReFTs deliver the best balance of efficiency and performance, and almost always outperform state-of-the-art PEFTs. We release a generic ReFT training library publicly at https://github.com/stanfordnlp/pyreft.

研究の動機と目的

• 大規模言語モデルの微調整において、重みの更新ではなく表現の編集がより効果的であるかどうかを検討すること。
• 固定されたベースモデル上で動作する、タスク固有の干渉を隠れ表現に学習するパラメータ効率の良い手法のファミリーReFTを開発すること。
• 低ランク線形部分空間を用いて表現を操作する最小限のパラメータで実現可能な、非常に効率的なReFTの具体例であるLoReFTを設計すること。
• 常識的推論、算術、指示微調整、GLUEを含む多様なベンチマークでReFTを評価し、既存のPEFT手法を上回ることを示すこと。
• 表現ベースの微調整における広範な採用と今後の研究を促進するため、汎用的なReFTトレーニングライブラリを公開すること。

提案手法

• ReFTは固定されたベース言語モデル上で動作し、微調整中に隠れ表現に対するタスク固有の干渉を学習する。
• コアとなる手法であるLoReFTは、分散配置探索（DAS）にインspiredされた低ランク線形部分空間を用いて隠れ表現を投影・変更する。
• LoReFTは干渉を隠れ状態に適用する低ランク行列としてパrameter化し、効率的かつ効果的な表現編集を可能にする。
• パラメータをさらに削減するために、対角行列を用いるアブレーション手法DiReFTが導入され、性能のわずかな低下を引き換えに高い効率性を達成する。
• 干渉は標準的なバックプロパゲーションによりエンドツーエンドで学習され、ベースモデルの重みは固定されたままであり、学習済みの編集は推論時のみに適用される。
• この手法はLoRAなどの既存のPEFTのドロップインリプレースメントであり、ベースモデルのアーキテクチャに変更を加える必要がない。

実験結果

リサーチクエスチョン

• RQ1 固定された言語モデルの隠れ表現の編集は、重みベースのパラメータ効率の良い微調整よりも、性能と効率の面で優れているか？
• RQ2 パラメータ効率と下流タスクの性能の観点から、表現編集は重みの更新と比べてどうか？
• RQ3 低ランク線形部分空間による表現への干渉は、LoRAのような最先端のPEFTを同等または上回る性能を達成できるか？
• RQ4 特にLlama-3 8Bのような大規模モデルにおいて、ReFTは効果的にスケーリングできるか？
• RQ5 ReFTは、常識的推論、算術、指示微調整、自然言語理解を含む多様なNLPタスクに一般化できるか？

主な発見

• LoReFTは、評価されたすべてのベンチマーク（常識的推論、算術、指示微調整、GLUE）で最先端の性能を達成しており、LoRAと比較して15倍〜65倍も少ないパラメータを用いている。
• LLaMA-3 8Bモデルでは、LoRAを含むすべてのベースラインPEFTをすべてのタスクで上回り、優れた効率性と有効性を示した。
• 常識的推論タスク（例：BoolQ、HellaSwag）では、更新パラメータが0.1%未満の状態で、フル微調整と同等の性能を達成した。
• 算術的推論（例：GSM8K、AQuA）では、LoRAと同等またはそれを上回る性能を、はるかに少ないトレーニング可能なパラメータで達成した。
• DiReFTのアブレーションは、性能のわずかな低下を許容することで、さらに高い効率性を達成しており、表現編集が極めてパラメータ効率的に実現可能であることを示した。
• ReFTライブラリは https://github.com/stanfordnlp/pyreft にて公開され、再現性と表現ベースの微調整分野における今後の研究を促進する。