[論文レビュー] Introspective Tips: Large Language Model for In-Context Decision Making

Liting Chen, Lu Wang+10 more|arXiv (Cornell University)|May 19, 2023

Topic Modeling被引用数 6

ひとこと要約

本論文では、大規模言語モデル（LLMs）が自身の経験、エキスパートのデモ、多様な環境からの軌跡から、高水準で一般化可能なインサイトを抽出することで、コンテキスト内学習における意思決定の自己最適化を可能にするプロンプトベースのフレームワーク「イントロスペクティブチップス」を紹介する。微調整を伴わず、抽出された実行可能で要約されたチップスを動的にプロンプトに統合することで、少サンプルおよびゼロショット設定において、テキストベースのゲームで最先端の性能を達成する。

ABSTRACT

The emergence of large language models (LLMs) has substantially influenced natural language processing, demonstrating exceptional results across various tasks. In this study, we employ ``Introspective Tips" to facilitate LLMs in self-optimizing their decision-making. By introspectively examining trajectories, LLM refines its policy by generating succinct and valuable tips. Our method enhances the agent's performance in both few-shot and zero-shot learning situations by considering three essential scenarios: learning from the agent's past experiences, integrating expert demonstrations, and generalizing across diverse games. Importantly, we accomplish these improvements without fine-tuning the LLM parameters; rather, we adjust the prompt to generalize insights from the three aforementioned situations. Our framework not only supports but also emphasizes the advantage of employing LLM in in-contxt decision-making. Experiments involving over 100 games in TextWorld illustrate the superior performance of our approach.

研究の動機と目的

• 既存のLLMベースの意思決定エージェントがタスク固有の自己反省に依存するか、微調整を必要とするという限界を是正すること。
• 過去の経験とエキスパートの軌跡から抽出したコンパクトで高水準のガイダンスを用いて、多様なタスクや環境に一般化可能なLLMエージェントを実現すること。
• パrameterの更新なしに、LLMの内蔵された一般的常識と推論能力を活用して、コンテキスト内意思決定を向上させるプロンプトベースのフレームワークを開発すること。
• 限られたデモやエージェントの軌跡から一般化可能なチップスを抽出し、適用することで、低データ環境下での性能を向上させること。

提案手法

• フレームワークは「イントロスペクティブチップス」と呼ばれる、エージェントの軌跡、エキスパートのデモ、および異種環境間の比較から抽出された要約された高水準のガイダンスを生成する。
• 成功したおよび失敗した軌跡からチップスを要約し、一般化可能な原則（例：「材料をローストするにはオーブンを使う」）を抽出する。詳細な行動ログではなく、一般化された原則に焦点を当てる。
• 推論時にこれらのチップスをLLMのコンテキストに統合することで、微調整なしに動的にプロンプトを調整し、コンテキスト内適応を可能にする。
• 自己分析の詳細な記述とは異なり、チップスは個々の失敗の詳細な自己分析ではなく、一般化され実行可能な助言に焦点を当てる。
• LLMの事前学習済みの一般的常識と推論能力を活用し、スパarsなまたは複雑な軌跡からも有用な戦略を推論する。
• 異なるゲームや難易度レベルで再利用可能なチップスを活用することで、少サンプルおよびゼロショットの一般化をサポートする。

実験結果

リサーチクエスチョン

• RQ1 LLMエージェントが、原始的な軌跡ログやタスク固有の自己反省ではなく、要約された高水準のインサイトから学習することで、コンテキスト内意思決定を改善できるか？
• RQ2 イントロスペクティブチップスを用いたプロンプトベースの手法は、多様なテキストベースのゲームにおいてゼロショットおよび少サンプル設定でどの程度効果的か？
• RQ3 エキスパートやエージェントの軌跡から抽出した一般化可能なチップスは、タスク固有の自己反省を上回る環境間一般化性能を示せるか？
• RQ4 LLMがパrameterの微調整なしに、自己最適化可能な知識抽出を活用することで、意思決定をどの程度自己最適化できるか？
• RQ5 人間が生成したチップスとモデルが生成したチップスの両方が、低難易度ゲーム環境での性能にどのように影響を与えるか？

主な発見

• 一般化されたイントロスペクティブチップスを用いたLLMエージェントは、10のゲームと48件の軌跡のみを用いても、難易度レベル0～3において、最先端の深層学習エージェント（例：TDQN、GATA、ITL）と同等の性能を達成した。
• 難易度レベル3および4において、イントロスペクティブチップスを用いたLLMは、タスク構造の推論能力とナビゲーション関連の落とし穴を回避できる点が顕著に優れており、最先端手法を上回った。
• ゼロショット設定では、一般チップスを用いたLLMが難易度レベル4のゲームで95％の成功率を達成し、限られたデモからの強力な一般化能力を示した。
• 人間が生成したチップスが提供された場合、LLMの成功率は難易度レベル4で96％に上昇し、チップスの品質が性能に顕著に影響することが示された。
• LLMの確率的性質により、非決定的行動が発生し、チップスを無視して誤りを犯す場合もあったが、それでも、タスクに特化して訓練された最先端エージェントを上回った。
• 自己反省ベースのアプローチに比べ、本手法は環境間でより良い一般化性能を示した。例えば、ゲーム2において、タスク固有の自己反省は関連性がなかったため失敗したが、チップスは成功した。