[論文レビュー] KG-Agent: An Efficient Autonomous Agent Framework for Complex Reasoning over Knowledge Graph

Jinhao Jiang, Kun Zhou+5 more|arXiv (Cornell University)|Feb 17, 2024

AI-based Problem Solving and Planning被引用数 12

ひとこと要約

KG-Agentは、多機能ツールボックスとメモリを用いて知識グラフを推論する自律的なLLMベースのエージェントを提示し、最小限の調整データで小型の7BモデルがKGQAとODQAタスクでより大きなベースラインを上回ることを可能にする。

ABSTRACT

In this paper, we aim to improve the reasoning ability of large language models (LLMs) over knowledge graphs (KGs) to answer complex questions. Inspired by existing methods that design the interaction strategy between LLMs and KG, we propose an autonomous LLM-based agent framework, called KG-Agent, which enables a small LLM to actively make decisions until finishing the reasoning process over KGs. In KG-Agent, we integrate the LLM, multifunctional toolbox, KG-based executor, and knowledge memory, and develop an iteration mechanism that autonomously selects the tool then updates the memory for reasoning over KG. To guarantee the effectiveness, we leverage program language to formulate the multi-hop reasoning process over the KG, and synthesize a code-based instruction dataset to fine-tune the base LLM. Extensive experiments demonstrate that only using 10K samples for tuning LLaMA-7B can outperform state-of-the-art methods using larger LLMs or more data, on both in-domain and out-domain datasets. Our code and data will be publicly released.

研究の動機と目的

• 知識グラフ（KG）に対する推論を改善する動機づけ：複雑な質問に対して標準的なLLMのプロンプトを超える。
• 人間の介入なしに、ツールを反復的に選択しメモリを更新してKGを推論する自律的なLLMベースのエージェントを提案する。
• KGQAデータセットから合成されたコードベースの指示チューニングデータを活用して、KG推論用のコンパクトなLLM（7B）を訓練する。
• インドメインのKGQAデータセットでの高い性能と、アウトオブドメインのオープンサイドQAタスクでの競争力のあるゼロショット結果を示す。
• 異なるKG間の一般化性と新しいドメインへの移行性を強調する。

提案手法

• KGデータと中間結果を操作する抽出、論理、意味論的ツールを備えた多機能ツールボックスを導入する。
• KGQAデータセットからKG推論プログラムを合成し、SQLのようなクエリをツールボックス操作へ対応する一連の関数呼び出しにグラウンドして、KGQAデータセットからKG推論プログラムを合成する。
• 推論プログラムから得られたコードベースの指示データで、小型LLM（LLaMA-2-7B）を微調整してKG推論の手順を実行させる。
• LLMベースのプランナーがツールを選択し、実行者がKG上でツール呼び出しを実行し、知識メモリが質問・ツールボックス・現在のKG情報・推論履歴を保持する自律的推論ループを開発する。
• 各ツール実行後に履歴とKG情報を更新するメモリ更新を統合し、KG上での段階的な自律推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 人間が設計した計画を用いず、ツールボックス駆動の自律的なLLMベースのエージェントが知識グラフ上で複雑で多段階の推論を実行できるか？
• RQ2 KGQAタスクで小型LLMがより大型のベースラインを上回るために、どれだけの指示チューニングデータとモデルサイズが必要か？
• RQ3 知識メモリの統合と反復的なツール選択は、KGベースのタスクにおける推論の信頼性を向上させるか？
• RQ4 KG-Agentは異なる知識グラフとドメイン（インドメイン対アウトオブドメインタスク）へどの程度移行・適用できるか？

主な発見

• 10Kの指示チューニングサンプルを用いると、KG-Agentを活用する7B LLM（LLaMA-2-7B）はインドメインのKGQAデータセットでベースラインを上回る。
• KG-AgentはCWQおよびGrailQAデータセットで改善を達成し、アウトオブドメインQAベンチマークで有用なゼロショット性能を示す。
• 自律的なツール選択とメモリ更新ループは、強力なクローズドソースLLM APIに依存せずに多段階のKG推論を可能にする。
• 提案されたワークフローは別のKG（MetaQA/Wikidataベース）への頑健な移行性をもたらし、ドメイン移行性を示す。
• 限定的な指示データ（10K）で競争力のある性能を得られ、閾値を超えるとリターンが減少することから、データの多様性が重要であることを示唆する。