[論文レビュー] KG-GPT: A General Framework for Reasoning on Knowledge Graphs Using Large Language Models

Jiho Kim, Yeonsu Kwon+2 more|arXiv (Cornell University)|Oct 17, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

KG-GPTは、文の分割、グラフ検索、推論の3段階プロセスを通じて、知識グラフ（KG）上で大規模言語モデル（LLMs）の推論を可能にする画期的なフレームワークである。このフレームワークは、KGベースの事実検証および質問応答ベンチマークで競争力ある性能を達成し、完全に教師ありのモデルを上回り、複数ホップ推論タスクにおいても頑健性を示している。

ABSTRACT

While large language models (LLMs) have made considerable advancements in understanding and generating unstructured text, their application in structured data remains underexplored. Particularly, using LLMs for complex reasoning tasks on knowledge graphs (KGs) remains largely untouched. To address this, we propose KG-GPT, a multi-purpose framework leveraging LLMs for tasks employing KGs. KG-GPT comprises three steps: Sentence Segmentation, Graph Retrieval, and Inference, each aimed at partitioning sentences, retrieving relevant graph components, and deriving logical conclusions, respectively. We evaluate KG-GPT using KG-based fact verification and KGQA benchmarks, with the model showing competitive and robust performance, even outperforming several fully-supervised models. Our work, therefore, marks a significant step in unifying structured and unstructured data processing within the realm of LLMs.

研究の動機と目的

• 大規模言語モデル（LLMs）を用いて、非構造化テキストの推論と構造化知識グラフ（KG）の推論の間のギャップを埋めること。
• 特に複雑な複数ホップタスクに特化した、LLMベースのKG推論のための汎用フレームワークの欠如に応えること。
• 事実検証や質問応答を含む、多様なKGベースのタスクをサポートする統合的でエンドツーエンドのフレームワークを構築すること。
• パスベースの推論に依存するのではなく、関連する部分グラフ（証拠グラフ）を取得することで、LLMの推論能力を強化すること。
• 微調整なしに、コンテキスト内学習を用いることで、LLMが構造化された知識を効果的に処理できることを示し、ホップ数の増加に対しても頑健性を維持すること。

提案手法

• 文の分割：入力の主張や質問を、それぞれが1つの三項組（頭部-関係-末尾）に対応する部分文に分解し、推論を単純化する。
• グラフ検索：LLMsを用いて部分文の関係をKG内の潜在的な関係にマッピングし、証拠グラフ構築のための候補関係プールを取得する。
• 証拠グラフ構築：入力から得られた関係およびエンティティを用いて、部分KG（証拠グラフ）を構築し、推論の論理的根拠を形成する。
• 推論：取得した部分KGをプロンプトの文脈として用い、LLMが論理的な結論（主張の妥当性評価や回答生成など）を生成するのを支援する。
• すべての段階でコンテキスト内学習を用いることで、微調整なしにLLMの推論能力を最大限に引き出す。
• 動的に関連するグラフコンポーネントを取得・結合することで、1ホップおよび複数ホップ推論を両方サポートする。

実験結果

リサーチクエスチョン

• RQ1 微調整なしに、コンテキスト内学習のみを用いて、LLMsが知識グラフ上で複雑な推論を効果的に行えるか。
• RQ2 KG-GPTの部分グラフ検索戦略は、パスベースの推論と比較して、推論の正確性および頑健性において優れているか。
• RQ3 KG-GPTは、複数ホップ推論タスクにおけるホップ数の増加に対しても、高い性能を維持できるか。
• RQ4 KGベースの事実検証および質問応答ベンチマークにおいて、KG-GPTは完全に教師ありのモデルを上回ることができるか。
• RQ5 グラフ検索段階における候補関係数（k）の変化に伴い、KG-GPTの性能はどれほど感度を示すか。

主な発見

• FactKGベンチマークでは、上位5つの関係を検索した際、72.68%の正確度を達成し、いくつかの完全に教師ありのモデルを上回った。
• MetaQAベンチマークでは、1ホップで96.3%、2ホップで94.4%、3ホップで94.0%の正確度を達成し、ホップ数の増加に伴う性能低下が最小限に抑えられた。
• すべてのホップレベルで高い頑健性を維持しており、複雑な複数ホップ推論タスクを効果的に処理できていることが示された。
• 関係検索におけるk値（1, 3, 5）の変化に関わらず性能が安定しており、正確度の低下は最小限に抑えられ、取得トリプル数の増加はやや増加したにとどまった。
• 定性的な結果から、KG-GPTは関連する証拠グラフを正しく取得し、多様な主張や質問に対して正確な予測を生成していることが確認された。
• 取得トリプルの平均数はkの増加に伴い増加したが、性能に顕著な低下は見られず、効率的でスケーラブルな部分KG構築が可能であることが示された。