[論文レビュー] Retrieve-Rewrite-Answer: A KG-to-Text Enhanced LLMs Framework for Knowledge Graph Question Answering

Yike Wu, Nan Hu+5 more|arXiv (Cornell University)|Sep 20, 2023

Topic Modeling被引用数 18

ひとこと要約

論文は Retrieve-Rewrite-Answer を提案する。これは answer-sensitive KG-to-Text rewrite モジュールを用いて retrieved subgraphs を有意義なテキスト知識に変換し、KGQA の性能を複数のベンチマークで向上させる KG-QA 向けの知識グラフからテキスト補足フレームワーク。

ABSTRACT

Despite their competitive performance on knowledge-intensive tasks, large language models (LLMs) still have limitations in memorizing all world knowledge especially long tail knowledge. In this paper, we study the KG-augmented language model approach for solving the knowledge graph question answering (KGQA) task that requires rich world knowledge. Existing work has shown that retrieving KG knowledge to enhance LLMs prompting can significantly improve LLMs performance in KGQA. However, their approaches lack a well-formed verbalization of KG knowledge, i.e., they ignore the gap between KG representations and textual representations. To this end, we propose an answer-sensitive KG-to-Text approach that can transform KG knowledge into well-textualized statements most informative for KGQA. Based on this approach, we propose a KG-to-Text enhanced LLMs framework for solving the KGQA task. Experiments on several KGQA benchmarks show that the proposed KG-to-Text augmented LLMs approach outperforms previous KG-augmented LLMs approaches regarding answer accuracy and usefulness of knowledge statements.

研究の動機と目的

• KGQAにおけるLLMsの知識ギャップを埋めるためにKG知識の活用を動機づける。
• 回答精度を向上させる三段階の Retrieve-Rewrite-Answer フレームワークを提案する。
• QAフィードバックに基づき自動コーパス生成を活用してKG-to-Textラベル付きデータの不足に対処する。
• 複数のLLMとベンチマークにおいて、素のトリプルよりもテキスト表現の知識表現がKGQAで上回ることを示す。

提案手法

• Retrieve: hop数を予測し、関係経路を予測し、サブグラフを形成するためにKGトリプルをサンプリングする。
• Rewrite: サブグラフを一貫した、回答に関係するテキストに変換するために、KG-to-Text コーパス上でオープンソースLlmをファインチューニングする。
• Answer: 生成されたテキスト知識をプロンプトとともにQAモデルに組み込み、最終回答を生成する。
• Corpus generation: QAベンチマークからサブグラフを抽出してテキストを生成し、ChatGPTを使ってグラフ-テキストのペアを自動的に作成する。QAフィードバックに導かれて、KGQAの知識が有用であることを保証する。
• Evaluation setup: 複数のKGQAベンチマークにおいて、さまざまなLLMと表現形式を用いて、KG-to-Text 増強LLMsをベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 回答に敏感なKG-to-Textのテキスト化は、トリプルベースやノー知識のベースラインよりKGQAの精度を向上させることができるか。
• RQ2 知識表現形式（トリプル vs. 自由形式のテキスト vs. その他の拡張形式）が、異なるLLM間でのKGQA性能にどのように影響するか。
• RQ3 自動的なKG-to-Textコーパス生成は、KGQAの文脈でKG-to-Textモデルの微調整データとして有益か。
• RQ4 提案されたKG-to-Text増強プロンプトに対して、サイズとアーキテクチャが異なるさまざまなLLMはKGQAタスクでどのように反応するか。

主な発見

• 提案された Retrieve-Rewrite-Answer フレームワークは、いくつかのLLMバックボーンとベンチマークにおいて、従来のKG拡張LLMアプローチを上回る。
• 自由形式のKG-to-Text知識は、素のトリプルよりもKGQAに対して一般に大きな利益をもたらし、意味的に一貫したテキスト化の価値を示している。
• オープンソースLLMsをKG-to-Textコーパスでファインチューニングすると、有用な知識記述が得られ、QA性能を高める。
• 知識表現形式はKGQAの結果に著しく影響し、回答に敏感なテキスト知識が複数のモデルで他の表現を上回る。
• このアプローチは、多様なKGQAベンチマーク（MetaQA、WebQSP/WebQを含む）および多言語設定（例：中国語ZJQA）で堅牢性を示す。