[論文レビュー] Give Us the Facts: Enhancing Large Language Models with Knowledge Graphs for Fact-aware Language Modeling

Linyao Yang, Hongyang Chen+3 more|arXiv (Cornell University)|Jun 20, 2023

Topic Modeling被引用数 26

ひとこと要約

知識グラフを augmented 言語モデル（KGPLMs）に関する包括的な調査と、事実の想起と推論を改善するための知識グラフ強化大規模言語モデル（KGLLMs）を開発する提案。

ABSTRACT

Recently, ChatGPT, a representative large language model (LLM), has gained considerable attention due to its powerful emergent abilities. Some researchers suggest that LLMs could potentially replace structured knowledge bases like knowledge graphs (KGs) and function as parameterized knowledge bases. However, while LLMs are proficient at learning probabilistic language patterns based on large corpus and engaging in conversations with humans, they, like previous smaller pre-trained language models (PLMs), still have difficulty in recalling facts while generating knowledge-grounded contents. To overcome these limitations, researchers have proposed enhancing data-driven PLMs with knowledge-based KGs to incorporate explicit factual knowledge into PLMs, thus improving their performance to generate texts requiring factual knowledge and providing more informed responses to user queries. This paper reviews the studies on enhancing PLMs with KGs, detailing existing knowledge graph enhanced pre-trained language models (KGPLMs) as well as their applications. Inspired by existing studies on KGPLM, this paper proposes to enhance LLMs with KGs by developing knowledge graph-enhanced large language models (KGLLMs). KGLLM provides a solution to enhance LLMs' factual reasoning ability, opening up new avenues for LLM research.

研究の動機と目的

• Knowledge graph–augmented pre-trained language models (KGPLMs) の landscape を調査する。
• Knowledge graphs が事実の想起、推論、ハルシネーションにおいて PLMs および LLMs をどのように改善するかを分析する。
• Knowledge graph–enhanced large language models (KGLLMs) の概念を提案し、LLMs における知識モデリングを改善する。
• KG を LLMs へ統合する際の課題、利点、今後の方向性を要約する。

提案手法

• KGPLM の方法と応用に関する系統的文献調査。
• KGPLMs を訓練前、訓練中、訓練後の強化に分類。
• 知識の注入技術と知識ノイズの取り扱いについて議論。
• 事実の想起、推論、解釈性のための KG の利点を分析。
• LLMs の事実知識と推論を高める方向として KGLLM の提案。

Figure 1: Main frameworks of existing PLMs, in which $x_{i}$ is the $i$ -th token of the input sentence, $\left[M\right]$ represents the masked token and $\left[S\right]$ is the start token.

実験結果

リサーチクエスチョン

• RQ1 LLM の事実知識と推論を改善するために、知識グラフを構築・活用する必要は依然としてあるか。
• RQ2 知識グラフをどのように効果的に LLMs に統合して知識の想起を改善し、ハルシネーションを減らすか。
• RQ3 KGPLMs の主なカテゴリと技術は何であり、それらが KGLLMs の開発にどのような示唆を与えるか。
• RQ4 知識グラフ駆動の大規模言語モデルの強化における将来の方向性と課題は何か。

主な発見

• KGPLMs は KG が参加する段階によって分類される：訓練前、訓練中、訓練後の強化。
• 知識統合戦略には、入力構造の拡張、情報の充実、データ生成、訓練前手法のマスク最適化が含まれる。
• 訓練中の手法は、知識エンコーダ、知識フュージョン層、アダプターを追加するか、テキストとKG構造をより良く整合させるよう事前訓練タスクを変更する。
• 訓練後のアプローチは、知識を用いて PLM をファインチューニングするか、生成を導く知識ベースのプロンプトを生成する。
• KG はハルシネーションを緩和し、事実的な根拠を強化し、知識源を明示することで解釈性を高めることができる。
• 本論は、LLMs の事実知識モデル化と推論を進めるための KG の活用を提唱する、KGLLMs（KG を組み込んだ大規模言語モデル）への道を提案する。

Figure 2: Milestones of LLMs. Open-source models are represented by solid squares, while closed-source models are represented by hollow squares.