[論文レビュー] Improving Language Model Prompting in Support of Semi-autonomous Task Learning

James R. Kirk, Robert E. Wray+2 more|arXiv (Cornell University)|Sep 13, 2022

Topic Modeling被引用数 6

ひとこと要約

本稿では、体現型エージェントが大規模言語モデル（LLM）の応答を、高い解釈可能性と状況的関連性をもって生成できるようにする、テンプレートベースで反復的なプロンプティング戦略を提案する。トップ-kトークン確率を用いてプロンプトを段階的に改善し、観察可能な物体に応答を根拠づけることで、行動可能性とパースング精度が顕著に向上し、エージェントがリアルタイム環境でLLMからタスク固有の知識を効果的に抽出・適用できることを示している。

ABSTRACT

Language models (LLMs) offer potential as a source of knowledge for agents that need to acquire new task competencies within a performance environment. We describe efforts toward a novel agent capability that can construct cues (or "prompts") that result in useful LLM responses for an agent learning a new task. Importantly, responses must not only be "reasonable" (a measure used commonly in research on knowledge extraction from LLMs) but also specific to the agent's task context and in a form that the agent can interpret given its native language capacities. We summarize a series of empirical investigations of prompting strategies and evaluate responses against the goals of targeted and actionable responses for task learning. Our results demonstrate that actionable task knowledge can be obtained from LLMs in support of online agent task learning.

研究の動機と目的

• 体現型エージェントシステムにおける大規模言語モデル（LLM）からタスク固有で解釈可能な知識を取得する課題に対処すること。
• LLMの応答が妥当であるだけでなく、言語理解能力に制限のあるエージェントが実行可能で解析可能であることを保証すること。
• エージェントの現在の環境と既知の語彙に動的に適応するプロンプティング戦略を開発すること。
• プロンプトの構造と反復的改善が、現実世界のタスク学習シナリオにおける応答の解釈可能性、関連性、行動可能性に与える影響を評価すること。

提案手法

• LLMから構造的で段階的なタスク指示を生成するために、テンプレートベースのプロンプティングフレームワークを用いる。ステップ番号の後に動詞を配置する。
• 反復的プロンプティング戦略を導入：各ステップの後、モデルのトップ-k次のトークン確率を分析し、エージェントは既知で高い確率の語のみを用いてプロンプトを精錬する。
• エージェントはGPT-3 APIを温度=0およびtop_logprobsを設定して使用し、妥当で根拠付けられた行動のみを選別・抽出する。
• モデルが「(END TASK)」を出力するまでプロセスを継続し、エージェントが利用可能な完全なタスク計画が得られる。
• 観察可能な物体とエージェントが理解できる語彙に偏ったプロンプトを用いることで、状況的根拠を統合する。
• 補助的な目的表現プロンプティング戦略も検討し、『(RESULT)』および『(END RESULT)』のデリミタを用いて計画に役立つ高レベルのタスク目的を引き出す。

実験結果

リサーチクエスチョン

• RQ1 体現型エージェントが言語理解能力に制限を受ける状況下でも、解釈可能で実行可能な応答を生成できるように、LLMプロンプティングをどのように構造化すべきか？
• RQ2 エージェント主導の反復的でプロンプトの精錬が、LLMが生成するタスク指示の解釈可能性と関連性に与える影響は何か？
• RQ3 観察可能な環境的特徴とエージェント固有の語彙を組み込んだプロンプティング戦略は、LLM応答の状況的関連性を向上させることができるか？
• RQ4 『(RESULT)』デリミタを用いた目的表現の組み込みが、LLMが生成するタスク計画の全体的な整合性と有用性に与える影響は何か？
• RQ5 手動での再設定が不要な状態で、テンプレートベースのプロンプティングは多様なタスクドメインに一般化できるか？

主な発見

• 反復的プロンプティング戦略は、バッチプロンプティングと比較して応答の解釈可能性を顕著に向上させたが、他のパフォーマンス指標に悪影響を及げなかった。
• 反復的精錬を経た応答は、既知の動詞をより多く使用しており、エージェントによるパースンと環境への根拠づけが容易になった。
• top_logprobsの使用により、エージェントは高い確率で出現する既知の語のみをフィルタリングし、有効で実行可能なステップを生成する可能性を高めた。
• 『(RESULT)』のようなデリミタを用いたプロンプティングにより、関連性があり解釈可能な高レベルの目的（例：「目的は、プラスチックボトルがリサイクルボックスにあることである」）が生成され、計画に基づくタスク実行を支援した。
• テンプレートベースのアプローチは、複数のタスクドメインにわたり効果的かつ中立的であったため、半自律的エージェント学習への広範な適用可能性を示唆した。
• 予備的な結果から、LLMが生成する目的と行動ステップを組み合わせることで、タスク計画の耐障害性が向上し、完全なLLM出力に依存する必要が軽減される可能性が示された。