[論文レビュー] In-context Vectors: Making In Context Learning More Effective and Controllable Through Latent Space Steering

Sheng Liu, Ye, Haotian+2 more|arXiv (Cornell University)|Nov 11, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、大規模言語モデルの推論中に、提示例を1つの潜在ベクトルに要約することで、プロンプト工学やパラメータ更新を必要とせずに、より効果的で制御可能かつ効率的な文脈内学習を実現する In-Context Vectors (ICV) を提案する。ICV は、安全性、スタイル変換、ロールプレイなど多様なタスクにおいて、標準的な文脈内学習や LoRA ファインチューニングを上回る性能を発揮する。

ABSTRACT

Large language models (LLMs) demonstrate emergent in-context learning capabilities, where they adapt to new tasks based on example demonstrations. However, in-context learning has seen limited effectiveness in many settings, is difficult to quantitatively control and takes up context window space. To overcome these limitations, we propose an alternative approach that recasts in-context learning as in-context vectors (ICV). Using ICV has two steps. We first use a forward pass on demonstration examples to create the in-context vector from the latent embedding of the LLM. This vector captures essential information about the intended task. On a new query, instead of adding demonstrations to the prompt, we shift the latent states of the LLM using the ICV. The ICV approach has several benefits: 1) it enables the LLM to more effectively follow the demonstration examples; 2) it's easy to control by adjusting the magnitude of the ICV; 3) it reduces the length of the prompt by removing the in-context demonstrations; 4) ICV is computationally much more efficient than fine-tuning. We demonstrate that ICV achieves better performance compared to standard in-context learning and fine-tuning on diverse tasks including safety, style transfer, role-playing and formatting. Moreover, we show that we can flexibly teach LLM to simultaneously follow different types of instructions by simple vector arithmetics on the corresponding ICVs.

研究の動機と目的

• 文脈内学習 (ICL) の限界、すなわち提示例の順序に敏感であること、文脈長の使用量が多めであること、制御性に欠けることに対処すること。
• プロンプトテンプレートやファインチューニングを必要とせずに、提示例からタスク固有の情報を抽出する手法を開発すること。
• 推論時に1つの潜在ベクトルを使用することで、効率的でスケーラブルかつ制御可能な大規模言語モデルの適応を可能にすること。
• ICV がベクトル演算を用いて複数のタスクを統合でき、標準的な ICL や LoRA ファインチューニングを上回ることを実証すること。

提案手法

• ICV は、大規模言語モデルの前向きパスを通じて、提示例の潜在表現から1つの文脈内ベクトルを計算する。
• 推論時、ICV はすべてのトランスフォーマー層およびトークン位置の潜在状態に加算され、元の活性化を変更せずにモデルの生成を効果的に制御する。
• ICV の大きさを調整することで、タスクのガイドラインの強さを制御でき、モデル行動に対する細かい制御が可能になる。
• この手法は推論時のみに作用し、パラメータの更新やファインチューニングを必要とせず、提示例の完全なシーケンスを文脈に保持・処理する必要がない。
• 加算や否定などのベクトル演算を用いることで、ICV は複数のタスクを統合する多タスク学習を可能にする。
• Falcon-7B や Llama といった複数の LLM にこのアプローチを適用し、スタイル変換、セーフティフィルタリング、ロールプレイなどのタスクで検証した。

実験結果

リサーチクエスチョン

• RQ1 提示例を要約した潜在ベクトルに置き換えることで、文脈内学習をより効果的かつ制御可能にすることができるか？
• RQ2 標準的な文脈内学習と比較して、ICV は文脈長の使用量を削減しながら、性能を維持または向上させることができるか？
• RQ3 再トレーニングを伴わずに、ベクトル演算を用いて複数の異なるタスクをICVで統合できるか？
• RQ4 性能と計算効率の観点から、LoRA などのファインチューニング手法と比較して ICV はどのように差をつけるか？
• RQ5 ICV は、モデルの元の能力を保持したまま、新しいタスク行動に効果的にモデルを誘導できるか？

主な発見

• 品質評価と定量的評価の両方で、対話の安全性、スタイル変換、フォーマット整備などのタスクにおいて、ICV は標準的な文脈内学習や LoRA ファインチューニングを顕著に上回る性能を示した。
• ICV は、文脈内ベクトルの大きさを調整することで、柔軟で制御可能な行動の調整が可能であり、指示従従の度合いを精密に制御できる。
• 提示例を入力文脈に含める必要がなくなるため、プロンプト長が短縮され、貴重な文脈ウィンドウの領域を節約できる。
• ICV はベクトル演算により多タスク学習をサポートする：例えば、ICV を加算または否定することで、異なる種類の指示を統合またはキャンセルできる。
• ICV は、提示例の数がモデルの文脈長を超える場合でも、提示例が1つのベクトルに要約されるため、高い性能を維持できる。
• ICV の計算にほとんどオーバーヘッドがなく、パラメータの更新やファインチューニングを一切必要としないため、計算的にも効率的である。