[論文レビュー] KnowAgent: Knowledge-Augmented Planning for LLM-Based Agents

Yuqi Zhu, Shuofei Qiao+8 more|arXiv (Cornell University)|Mar 5, 2024

Semantic Web and Ontologies被引用数 4

ひとこと要約

KnowAgentは、外部の行動知識ベースと熟練した自己学習戦略を統合することで、LLMベースのエージェントの計画の誤りを低減する知識拡張型計画フレームワークを提案する。構造化された知識で行動軌道を制約することにより、複数のバックボーンモデルを用いたHotpotQAおよびALFWorldでSOTAまたは同等のパフォーマンスを達成する。

ABSTRACT

Large Language Models (LLMs) have demonstrated great potential in complex reasoning tasks, yet they fall short when tackling more sophisticated challenges, especially when interacting with environments through generating executable actions. This inadequacy primarily stems from the lack of built-in action knowledge in language agents, which fails to effectively guide the planning trajectories during task solving and results in planning hallucination. To address this issue, we introduce KnowAgent, a novel approach designed to enhance the planning capabilities of LLMs by incorporating explicit action knowledge. Specifically, KnowAgent employs an action knowledge base and a knowledgeable self-learning strategy to constrain the action path during planning, enabling more reasonable trajectory synthesis, and thereby enhancing the planning performance of language agents. Experimental results on HotpotQA and ALFWorld based on various backbone models demonstrate that KnowAgent can achieve comparable or superior performance to existing baselines. Further analysis indicates the effectiveness of KnowAgent in terms of planning hallucinations mitigation. Code is available in https://github.com/zjunlp/KnowAgent.

研究の動機と目的

• トラジェクトリ生成中に行動知識が不足することで生じるLLMベースのエージェントにおける計画の誤りを是正すること。
• 複雑でインタラクティブな環境における言語エージェントの推論および計画能力を向上させること。
• 人間がアノテートしたトラジェクトリに依存するのを減らし、モデルが生成した計画から自己学習を可能にすること。
• 外部の行動知識が妥当で実行可能な行動シーケンスを導く有効性を実証すること。
• 質問応答、Webブラウジング、ロボット工学など、実世界の応用分野におけるLLMエージェントの広範な展開を可能にすること。

提案手法

• ALFWorld や HotpotQA などの環境向けに、タスク固有の行動ルールと依存関係を含む構造化された行動知識ベースの構築。
• 行動知識を自然言語のプロンプトに変換し、LLMが計画段階で知識を推論および適用できるようにすること。
• Thought-Action-Observation (TAO) トレース生成をガイドするプロンプトベースのフレームワークを介して、行動知識ベースをエージェントの計画プロセスに統合すること。
• エージェントがフィードバックと知識制約を用いて軌道を改善することで、反復的に計画能力を向上させる熟練した自己学習フェーズの実装。
• エージェントの相互作用をモデル化するためのTAO（Thought-Action-Observation）トレース形式の使用。過去のステップを考慮した履歴に依存する生成。
• 論理的・物理的制約（例：『受容器へ移動』の後に『受容器を開く』）を満たす行動シーケンスを保証するための知識に配慮したプロンプトの適用。

実験結果

リサーチクエスチョン

• RQ1 外部の行動知識はLLMベースのエージェントにおける計画の誤りを低減できるか？
• RQ2 構造化された行動知識を統合することで、複雑な推論タスクにおける計画パフォーマンスはどのように向上するか？
• RQ3 人間がアノテートしたデータが存在しない状況で、モデルが生成したトラジェクトリからの自己学習が、計画の正確性をどの程度向上できるか？
• RQ4 知識拡張アプローチは、異なるバックボーンLLMや環境に一般化可能か？
• RQ5 LLMが生成した行動知識を手作業で精錬することで、人的労力の削減が可能になり、パフォーマンスは維持または向上するか？

主な発見

• KnowAgentは、『移動』の後に『開く』や『取り出す』を行うといった論理的行動依存関係を強制することで、計画の誤りを顕著に低減する。
• HotpotQAベンチマークでは、複数のLLMバックボーンに対して、既存のベースラインと同等または優れたパフォーマンスを達成する。
• ALFWorldベンチマークでは、『清掃』『加熱』『冷却』『2つを取る』などのタスクで優れたもしくは競争力のあるパフォーマンスを示す。
• 熟練した自己学習戦略により、反復回数を重ねるごとに計画の質が向上し、知識制約を用いてモデルが生成したトラジェクトリを効果的に改善できることを示している。
• LLMが生成し、手作業で精錬した行動知識の使用により、人的アノテーション作業の負担を削減しながらも、高いパフォーマンスを維持できる。
• アブレーションスタディにより、行動知識ベースと自己学習メカニズムの両方が、誤りの低減および計画結果の向上に不可欠であることが確認された。