[論文レビュー] Aligning LLM Agents by Learning Latent Preference from User Edits

Ge Gao, Alexey Taymanov+3 more|arXiv (Cornell University)|Apr 23, 2024

Natural Language Processing Techniques被引用数 4

ひとこと要約

本論文では、微調整を伴わず、固定されたLLMエージェントを自然なユーザーの編集から得られる潜在的ユーザー好みに一致させるためのフレームワーク、PRELUDEを提案する。CIPHERアルゴリズムを用いて、LLMを介して好みの記述を推定し、類似した履歴編集を検索・集約して、コン pact なプロンプトポリシーを生成する。ベースラインと比較して編集距離と計算コストが低く抑えられるとともに、解釈可能性が向上する。

ABSTRACT

We study interactive learning of LLM-based language agents based on user edits made to the agent's output. In a typical setting such as writing assistants, the user interacts with a language agent to generate a response given a context, and may optionally edit the agent response to personalize it based on their latent preference, in addition to improving the correctness. The edit feedback is naturally generated, making it a suitable candidate for improving the agent's alignment with the user's preference, and for reducing the cost of user edits over time. We propose a learning framework, PRELUDE that infers a description of the user's latent preference based on historic edit data. The inferred user preference descriptions are used to define prompts for generating responses in the future. This avoids fine-tuning the agent, which is costly, challenging to scale with the number of users, and may even degrade its performance on other tasks. Furthermore, learning descriptive preference improves interpretability, allowing the user to view and modify the learned preference. However, user preference can be complex, subtle, and vary based on context, making it challenging to learn. To address this, we propose a simple yet effective algorithm named CIPHER that leverages the LLM to infer the user preference for a given context based on user edits. In the future, CIPHER retrieves inferred preferences from the k-closest contexts in the history, and forms an aggregate preference for response generation. We introduce two interactive environments -- summarization and email writing, and use a GPT-4 simulated user for evaluation. On both tasks, CIPHER outperforms several baselines by achieving the lowest edit distance cost while only having a small overhead in LLM query cost. Our analysis reports that user preferences learned by CIPHER show significant similarity to the ground truth latent preferences.

研究の動機と目的

• 自然で暗黙の編集から学習することで、LLMベースのライティングアシスタントにおけるユーザーのインタラクションコストを低減すること。
• 二値比較ではなく、記述可能で文脈に依存するテキスト記述としてユーザー好みをモデル化すること。
• モデルの再訓練ではなく、編集履歴からプロンプトポリシーを学習することで、高価な微調整を回避すること。
• ユーザーが学習された好みを確認・変更可能にすることで、解釈可能性を向上させること。
• 個々のユーザー向けのモデル適応を必要とせず、スケーラブルなパーソナライゼーションを実現すること。

提案手法

• ユーザーの編集から好みの記述を学習し、プロンプトポリシー生成を支援するフレームワークPRELUDEを提案する。
• 履歴編集から好みの記述を推定するLLMを用いた、検索ベースのアルゴリズムCIPHERを導入する。
• 現在の文脈と類似する履歴のコンテキストを、埋め込み距離に基づいてk個検索する。
• k個の最近傍の近傍から推定された好みを統合し、応答生成用の単一でコンパクトなプロンプトを生成する。
• 統合された好み記述を動的プロンプトとして使用し、固定されたLLMエージェントの応答を制御する。
• 要約とメール作成の2つのインタラクティブ環境を用い、GPT-4を模擬ユーザーとして用いて、現実世界の編集フィードバックをシミュレートして評価する。

Figure 1: Illustration of interactive learning from user edits. Color coding in edits is for visualization only – our agent takes the plain revised text as feedback.

実験結果

リサーチクエスチョン

• RQ1 ユーザーの編集は、文脈を越えて一般化可能な潜在的で記述可能な好みとして効果的にモデル化可能か？
• RQ2 推定された好み記述を用いた検索ベースの手法は、直接的な編集検索や文脈に依存しない好み学習を上回る性能を示せるか？
• RQ3 好み記述の学習により、ベースラインと比較してユーザーの編集コスト（例：編集距離）が低減されるか？
• RQ4 学習された好みはユーザーが解釈・変更可能であり、透明性が向上するか？
• RQ5 学習された好みを使用する際の計算コストは、プロンプトに直接的な編集シーケンスを使用する場合よりも低いのか？

主な発見

• CIPHERは、要約とメール作成の両タスクで最低の編集距離コストを達成し、直接編集を検索するか、文脈に依存しない好み学習を行うベースラインを上回った。
• 学習された好み記述の使用により、編集シーケンスそのものをプロンプトに含める場合と比較してプロンプト長が短縮され、計算コストが低下した。
• 推定された好みは、真の潜在的好みと顕著な類似性を示しており、正確な好みモデル化が可能であることが示された。
• ユーザーが学習された好み記述を確認・変更可能であるため、解釈可能な一致が実現された。
• 個々のユーザー向けの微調整を必要としないため、ユーザー間でのスケーラビリティが高く、効率的である。
• GPT-4を模擬ユーザーとして用いた評価では、多様なインタラクションシナリオにおいて一貫した性能向上が確認された。