[論文レビュー] AriGraph: Learning Knowledge Graph World Models with Episodic Memory for LLM Agents

Petr Anokhin, Nikita Semenov+5 more|arXiv (Cornell University)|Jul 5, 2024

Advanced Graph Neural Networks被引用数 4

ひとこと要約

AriGraphは、LLMエージェントにおけるエピソード的記憶と意味的記憶を統合したハイブリッドメモリアーキテクチャを提案し、インタラクティブなテキスト環境における構造的でスケーラブルかつ効率的な推論を可能にする動的知識グラフを構築する。AriGraphを搭載したAriadneエージェントは、TextWorld や NetHack といった複雑なテキストベースのゲームにおいて、人間に近いパフォーマンスを達成し、複数のタスクでフル履歴、RAG、強力な強化学習ベースラインを上回る性能を示した。

ABSTRACT

Advancements in the capabilities of Large Language Models (LLMs) have created a promising foundation for developing autonomous agents. With the right tools, these agents could learn to solve tasks in new environments by accumulating and updating their knowledge. Current LLM-based agents process past experiences using a full history of observations, summarization, retrieval augmentation. However, these unstructured memory representations do not facilitate the reasoning and planning essential for complex decision-making. In our study, we introduce AriGraph, a novel method wherein the agent constructs and updates a memory graph that integrates semantic and episodic memories while exploring the environment. We demonstrate that our Ariadne LLM agent, consisting of the proposed memory architecture augmented with planning and decision-making, effectively handles complex tasks within interactive text game environments difficult even for human players. Results show that our approach markedly outperforms other established memory methods and strong RL baselines in a range of problems of varying complexity. Additionally, AriGraph demonstrates competitive performance compared to dedicated knowledge graph-based methods in static multi-hop question-answering.

研究の動機と目的

• LLMエージェントにおける非構造的記憶表現（例：フル履歴、リtrieval増強生成（RAG））の限界、特に効果的な推論や計画の阻害要因を解消すること。
• エピソード的記憶と意味的記憶を統合した一元的知識グラフフレームワークに統合することで、動的環境における長期記憶の活用と意思決定が向上するかを検討すること。
• 構造化された記憶表現が、リトリーブ効率の向上と、効果的な環境探索およびタスク計画を支援するかを評価すること。
• 事前知識に依存せずに、複雑でマルチステップの推論を可能にするスケーラブルな記憶アーキテクチャを開発すること。
• LLMエージェントが相互作用を通じて自己構築された記憶を自律的に学習・維持でき、人間水準またはそれ以上のパフォーマンスを達成できることを実証すること。

提案手法

• 意味的 fact（エンティティと関係）をノードとエッジとして格納し、構造化された世界モデルを形成する知識グラフを構築する。
• イベント、行動、観察を特定の文脈にリンクするエピソードエッジを導入し、時間的・状況的詳細をグラフに埋め込む。
• 環境との相互作用中にLLMを用いて知識グラフを動的に更新し、新たな観察を統合し、既存の知識を精緻化する。
• メモリリトリーブ、計画、意思決定のパイプラインを採用し、AriGraphを事実リトリーブと推論のコアメモリモジュールとして活用する。
• グラフベースのリトリーブを適用し、関連する事実を効率的に特定することで、ベクトルベースのRAGやフル履歴法よりも高速かつ正確な推論を実現する。
• グラフを前向きおよび後向きに走査することで、蓄積されたエピソード的および意味的知識に基づいた行動計画を可能にする。

実験結果

リサーチクエスチョン

• RQ1 LLMベースのエージェントは、環境との相互作用を通じて、構造的で有用な世界モデルを完全に自ら学習できるか？
• RQ2 統合された知識グラフフレームワークにエピソード的記憶と意味的記憶を統合することで、記憶からの関連事実のリトリーブが向上するか？
• RQ3 記憶の構造化された表現が、複雑でインタラクティブな環境における探索および意思決定を向上させるか？
• RQ4 AriGraphメモリアーキテクチャは、フル履歴、RAG、要約などの既存のメモリ手法と比較して、パフォーマンスおよびスケーラビリティの面で優れているか？
• RQ5 エージェントは、相互作用と自己構築された記憶のみを用いて、複雑なテキストベースのゲームで人間水準またはそれ以上のパフォーマンスを達成できるか？

主な発見

• AriGraphメモリを搭載したAriadneエージェントは、TextWorldの最も難しいTreasure HuntおよびCookingタスクで正規化スコア1.0を達成し、すべてのベースラインを上回り、トッププレイヤーと同等のパフォーマンスを示した。
• Cleaningタスクでは、AriGraphは正規化スコア0.79を達成し、RAG（0.39）、Simulacra（0.7）、フル履歴（0.05）を大きく上回った。
• 最も難しいCookingタスクでは、AriGraphはスコア0.65を記録し、Reflexion（0.0）、Simulacra（0.0）、RAG（0.17）を上回り、高い複雑性下でも安定性を示した。
• アブレーションスタディの結果、エピソード記憶を削除すると、ハードなTreasure Huntでスコアが0.67に低下し、エピソード記憶が複雑な推論において重要な役割を果たしていることが確認された。
• LLaMA-3-70Bを搭載したAriGraphエージェントは、Treasure Huntでスコア0.47を達成し、モデルサイズの増大に伴いパフォーマンスが向上する傾向を示したが、他のLLMベースのメモリ手法を上回った。
• パフォーマンスのダイナミクスは、タスクの難易度が上昇しても品質の劣化を示さず、Cookingタスクでは人間プレイヤーを上回る速度で高いパフォーマンスを維持した。