[論文レビュー] Reducing Retraining by Recycling Parameter-Efficient Prompts

Brian Lester, Joshua Yurtsever+2 more|arXiv (Cornell University)|Aug 10, 2022

Topic Modeling被引用数 6

ひとこと要約

本稿では、微調整を必要とせず、モデルの埋め込み間の構造的対応関係を用いて、元の固定された大規模言語モデル（LLM）で訓練されたソフトプロンプトを新しいターゲットLLMに移行する「プロンプトリサイクル」を提案する。最良の手法では、ターゲットモデルのゼロショット性能を上回るプロンプトを88.9％の成功率で再利用できたが、依然として初期から微調整されたプロンプトに比べて性能が劣る。

ABSTRACT

Parameter-efficient methods are able to use a single frozen pre-trained large language model (LLM) to perform many tasks by learning task-specific soft prompts that modulate model behavior when concatenated to the input text. However, these learned prompts are tightly coupled to a given frozen model -- if the model is updated, corresponding new prompts need to be obtained. In this work, we propose and investigate several approaches to "Prompt Recycling'" where a prompt trained on a source model is transformed to work with the new target model. Our methods do not rely on supervised pairs of prompts, task-specific data, or training updates with the target model, which would be just as costly as re-tuning prompts with the target model from scratch. We show that recycling between models is possible (our best settings are able to successfully recycle $88.9\%$ of prompts, producing a prompt that out-performs baselines), but significant performance headroom remains, requiring improved recycling techniques.

研究の動機と目的

• 固定されたLLMが更新される度にソフトプロンプトを再訓練する方法の非効率性を解消すること。これはコストと時間がかかる。
• タスク固有のデータやモデルの更新を必要とせず、ソースLLMから新しいターゲットLLMにタスク固有のプロンプトを移行可能にすること。
• モデル間の構造的類似性を活用して、タスクパフォーマンスを保持したままプロンプトを変換できるかを検討すること。
• 異なるモデルサイズやアーキテクチャにおいて、プロンプトリサイクルの実現可能性と有効性を評価すること。

提案手法

• 本手法は、ソースモデルとターゲットモデルの単語埋め込み間の対応関係に基づいて学習された変換を用い、ソースモデルのソフトプロンプトをターゲットモデルに適合可能なプロンプトにマッピングする。
• 特に、注意層や埋め込み空間の構造的類似性に依存しており、特にトークン表現がモデル間でどのように対応するかに焦点を当てる。
• 3つのリサイクル手法を提案：線形射影、リサイクルアダプタ、およびクラス固有の初期化とSPoT（スパースプロンプトチューニング）を用いたアプローチ。
• ペアドプロンプト、タスク固有のデータ、またはターゲットモデルの微調整を一切不要とし、計算効率を維持する。
• SST-2 や IMDB などの下流タスクで、再利用されたプロンプトをゼロショットおよびランダムプロンプトのベースラインと比較して性能を評価する。
• モデルサイズの異なる設定においても検証を行い、大規模モデルから小規模モデル（Large → Base）へのリサイクルと、逆方向（Base → Large）のリサイクルを含む。

実験結果

リサーチクエスチョン

• RQ1 固定されたLLMで訓練されたソフトプロンプトを、再訓練を伴わず新しいターゲットLLMに効果的に移行できるか？
• RQ2 再利用されたプロンプトの性能は、ターゲットモデルのゼロショット性能を上回るか？
• RQ3 ソースモデルとターゲットモデルのサイズが、プロンプトリサイクルの信頼性とパフォーマンスにどのように影響するか？
• RQ4 タスク固有のデータを一切使用せずに、モデル間の構造的対応関係を活用して効果的なプロンプト変換を可能にできるか？
• RQ5 大規模モデルから小規模モデルに移行する場合、あるいは逆に小規模から大規模に移行する場合、どちらがより効果的か？

主な発見

• 最良のリサイクル手法では、ターゲットモデルのゼロショット性能を上回るプロンプトを88.9％の成功率で再利用できた。
• 大規模ソースモデル（Large）から小規模ターゲットモデル（Base）にリサイクルする場合、同じサイズ間のリサイクルよりも信頼性が高く、パフォーマンスも優れていた。
• BaseからLargeへのリサイクルは不安定であり、変動が大きく、特にIMDBではランダムプロンプトよりも性能が劣ることが多かった。
• LargeからBaseへのリサイクルで得られたプロンプトは、ゼロショットおよびランダムプロンプトの両方のベースラインを上回る強力な性能を示しており、知識蒸留に類似した移行の可能性を示唆している。
• 再利用されたプロンプトのパフォーマンスは、ターゲットモデル上で初期から微調整されたプロンプトに比べて依然として著しく劣っており、改善の余地が大きいことが示された。
• リサイクルの成功確率は、プロンプトのトレーニング体制と相関しており、より大きなモデルでトレーニングされたプロンプトは、一般化性能や知識のエンコードが優れている可能性から、より再利用されやすい傾向にあった。