[論文レビュー] Unifying Large Language Models and Knowledge Graphs: A Roadmap

Shirui Pan, Linhao Luo+4 more|arXiv (Cornell University)|Jun 14, 2023

Topic Modeling参考文献 257被引用数 100

ひとこと要約

本論文は、LLMsと知識グラフを統合するための3つの枠組みのロードマップを提案する。KG-enhanced LLMs、LLM-augmented KGs、Synergized LLMs + KGs であり、詳細な分類と今後の方向性を示す。

ABSTRACT

Large language models (LLMs), such as ChatGPT and GPT4, are making new waves in the field of natural language processing and artificial intelligence, due to their emergent ability and generalizability. However, LLMs are black-box models, which often fall short of capturing and accessing factual knowledge. In contrast, Knowledge Graphs (KGs), Wikipedia and Huapu for example, are structured knowledge models that explicitly store rich factual knowledge. KGs can enhance LLMs by providing external knowledge for inference and interpretability. Meanwhile, KGs are difficult to construct and evolving by nature, which challenges the existing methods in KGs to generate new facts and represent unseen knowledge. Therefore, it is complementary to unify LLMs and KGs together and simultaneously leverage their advantages. In this article, we present a forward-looking roadmap for the unification of LLMs and KGs. Our roadmap consists of three general frameworks, namely, 1) KG-enhanced LLMs, which incorporate KGs during the pre-training and inference phases of LLMs, or for the purpose of enhancing understanding of the knowledge learned by LLMs; 2) LLM-augmented KGs, that leverage LLMs for different KG tasks such as embedding, completion, construction, graph-to-text generation, and question answering; and 3) Synergized LLMs + KGs, in which LLMs and KGs play equal roles and work in a mutually beneficial way to enhance both LLMs and KGs for bidirectional reasoning driven by both data and knowledge. We review and summarize existing efforts within these three frameworks in our roadmap and pinpoint their future research directions.

研究の動機と目的

• LLMsとKGsを統合し、それらの相補的な強みを活用する、先を見据えたロードマップを提案する。
• 各統合フレームワーク内の既存研究について、細粒度の分類とレビューを提供する。
• マルチモーダルなナレッジグラフを含む、LLMsとKGsの進展と最先端モデルを概説する。
• 課題を浮き彫りにし、今後の研究の有望な方向性を概説する。

提案手法

• LLMsとKGsを統合するための3つの一般的なフレームワークを定義する：KG-enhanced LLMs、LLM-augmented KGs、および Synergized LLMs + KGs。
• 各フレームワーク内での細粒度分類を開発する（事前学習、推論、解釈可能性；埋め込み、補完、構築、KG-to-text、QA；知識表現と推論）。
• 知識統合技術、プロンプト、検索、および指示調整に関する既存の手法と分類法をレビューする。
• 本分野の今後の研究の指針となる課題と将来の研究方向性を統合する。

実験結果

リサーチクエスチョン

• RQ1 知識グラフと大規模言語モデルをどのように統合して幻覚を抑制し、解釈性の問題を克服できるか？
• RQ2 事前学習、推論、指示調整の各段階で、KG構造を最も活用する統合戦略は何か？
• RQ3 埋め込み、補完、構築、KG-to-text生成などのKGタスクをLLMsはどのように補強できるか？
• RQ4 双方向推論におけるLLMsとKGsの協調の主要な課題と今後の方向性は何か？

主な発見

• LLMsとKGsを統合する3つのフレームワークを含む構造化されたロードマップを提供する。
• 各フレームワーク内の研究の細粒度の分類体系を提供し、代表的な手法を要約する。
• 最新のLLMsと進化するKGsを議論する。マルチモーダルナレッジグラフを含む。
• 知識更新、解釈性、ゼロショット転送などの課題を特定し、今後の研究の方向性を提案する。