[論文レビュー] Knowledge-Augmented Language Model Prompting for Zero-Shot Knowledge Graph Question Answering

Jinheon Baek, Alham Fikri Aji+1 more|arXiv (Cornell University)|Jun 7, 2023

Topic Modeling被引用数 10

ひとこと要約

著者らは KAPING を提案する、 retrieved した、タスク関連の facts を知識グラフから取り込み、ファインチューニングなしでゼロショット KGQA を向上させるゼロショットフレームワーク。

ABSTRACT

Large Language Models (LLMs) are capable of performing zero-shot closed-book question answering tasks, based on their internal knowledge stored in parameters during pre-training. However, such internalized knowledge might be insufficient and incorrect, which could lead LLMs to generate factually wrong answers. Furthermore, fine-tuning LLMs to update their knowledge is expensive. To this end, we propose to augment the knowledge directly in the input of LLMs. Specifically, we first retrieve the relevant facts to the input question from the knowledge graph based on semantic similarities between the question and its associated facts. After that, we prepend the retrieved facts to the input question in the form of the prompt, which is then forwarded to LLMs to generate the answer. Our framework, Knowledge-Augmented language model PromptING (KAPING), requires no model training, thus completely zero-shot. We validate the performance of our KAPING framework on the knowledge graph question answering task, that aims to answer the user's question based on facts over a knowledge graph, on which ours outperforms relevant zero-shot baselines by up to 48% in average, across multiple LLMs of various sizes.

研究の動機と目的

• 内部パラメータに依存するゼロショット LLM QA の事実正確性のギャップを動機づけ、対処する。
• 外部の最新の KG の事実をプロンプトに augment して回答を根拠づける。
• ファインチューニングを避け、完全なゼロショット prompting ソリューションを提供する。
• 質問に関連するトリプルにフィルタリングすることで性能と効率が向上することを示す。

提案手法

• KG トリプルをテキストの言語化として表現し、質問プロンプトの前に付加する。
• sentence embedding を用いて質問と最も意味的に類似するトップ-K トリプルのみを取得する。
• retrieved facts を質問の前に提示するナレッジ・プロンプトを用いて LLM を導く。
• パラメータ更新なしでデータセット（WebQuestionsSP, Mintaka）とさまざまな LLM サイズでゼロショット KGQA を評価する。
• retrieval の正確さ、知識の量、順序が生成パフォーマンスに及ぼす影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 外部 KG 知識をプロンプトに augment して、モデル訓練なしでゼロショット KGQA を改善できるか？
• RQ2 意味的に類似した KG トリプルを選択することが QA の正確さと効率に与える影響は？
• RQ3 異なる LLM サイズと KGQA データセットで、ゼロショット設定における KAPING はどう機能するか？

主な発見

• KAPING は、データセットとモデルサイズを横断して、ゼロショット LM prompting ベースラインを有意に上回る。
• トップ-K の意味的に類似した KG トリプルを取得・注入することは精度を改善する一方で、ランダムまたは全トリプルの増強は性能を低下させる可能性がある。
• 小さめの LMs は知識増強からより大きな恩恵を受けることがあり、事実が正しく提供されれば時には大規模モデルのパフォーマンスに近づく。
• 1-hop の取得と 10 トリプルのキャップは、精度と効率の良いバランスを提供する。
• 取得品質（MPNet ベース）は、回答の根拠付けにおいてランダムや popular-triple ベースラインより優れている。
• プロンプト内の取得事実の順序は一般的に多くの LLM に対して限定的な影響を及ぼすが、特定のモデルには敏感さがある。