[論文レビュー] Large Knowledge Model: Perspectives and Challenges

Huajun Chen|arXiv (Cornell University)|Dec 5, 2023

Topic Modeling参考文献 71被引用数 4

ひとこと要約

本論文では、多様な知識構造をより効果的に扱うために、大規模言語モデル（LLM）と知識グラフ（KG）を統合するフレームワークとして、Large Knowledge Models（LKM）を提案する。記号的知識表現とニューラルパラメータライゼーションを組み合わせることで、LKMは推論の向上、幻覚の低減、解釈可能性の向上を目的としており、五つの「A」の原則に従う：拡張された事前学習、真正の知識、説明可能な推論、豊富なカバレッジ、知識との整合性。

ABSTRACT

Humankind's understanding of the world is fundamentally linked to our perception and cognition, with \emph{human languages} serving as one of the major carriers of \emph{world knowledge}. In this vein, \emph{Large Language Models} (LLMs) like ChatGPT epitomize the pre-training of extensive, sequence-based world knowledge into neural networks, facilitating the processing and manipulation of this knowledge in a parametric space. This article explores large models through the lens of "knowledge". We initially investigate the role of symbolic knowledge such as Knowledge Graphs (KGs) in enhancing LLMs, covering aspects like knowledge-augmented language model, structure-inducing pre-training, knowledgeable prompts, structured CoT, knowledge editing, semantic tools for LLM and knowledgeable AI agents. Subsequently, we examine how LLMs can boost traditional symbolic knowledge bases, encompassing aspects like using LLM as KG builder and controller, structured knowledge pretraining, and LLM-enhanced symbolic reasoning. Considering the intricate nature of human knowledge, we advocate for the creation of \emph{Large Knowledge Models} (LKM), specifically engineered to manage diversified spectrum of knowledge structures. This promising undertaking would entail several key challenges, such as disentangling knowledge base from language models, cognitive alignment with human knowledge, integration of perception and cognition, and building large commonsense models for interacting with physical world, among others. We finally propose a five-"A" principle to distinguish the concept of LKM.

研究の動機と目的

• 現在のLLMが構造的・記号的知識を扱う際の限界を解消し、幻覚を低減すること。
• 知識グラフのような従来の記号的知識ベースの硬直性とスケーラビリティの問題を克服すること。
• LLMの一般化能力・言語理解力と、記号的知識の解釈可能性・構造的特徴を統合し、より信頼性の高いAIシステムを構築すること。
• テキスト、オントロジー、論理的知識、常識的知識といった多様な知識構造を、1つのモデルアーキテクチャ内で統合的に管理するフレームワークを構築すること。
• LKMの設計と評価に用いる五つの「A」フレームワークを通じて、信頼性があり人間の価値観に整合したAIの基盤を確立すること。

提案手法

• Large Knowledge Models（LKM）の設計を導くための五つの「A」原則フレームワークを提案：拡張された事前学習、真正の知識、説明可能な推論、豊富なカバレッジ、知識との整合性。
• 知識グラフ（KGs）を知識拡張事前学習、構造化されたプロンプト、知識編集を用いてLLMに統合し、事実の整合性を向上させる。
• LLMを知識グラフのコントローラーおよび構築者として活用し、自動的な知識抽出、推論、動的更新を可能にする。
• チェーン・オブ・オブザーバー（CoT）と記号的知識ベースを組み合わせることで、LLMの推論を強化し、追跡可能で論理的な推論を実現する。
• 知識表現と言語モデルのパラメータを分離することで、知識の独立的検証、保守、アップグレードを可能にする。
• 共有された構造的知識ベースとLLM駆動の推論を活用し、AIエージェント間での知識共有を促進することで、カバレッジと一貫性をスケーリングする。

Figure 1: Language, Knowledge, Language Models and Knowledge Graphs.

実験結果

リサーチクエスチョン

• RQ1 知識グラフをどのように効果的に大規模言語モデルに統合することで、事実の正確性と推論能力を向上させられるか？
• RQ2 記号的表現とニューラル表現を統合するLarge Knowledge Model（LKM）を構築するにあたり、必要な主なアーキテクチャ的および学習的原則は何か？
• RQ3 一般化能力と適応性を維持したまま、LLMにおける幻覚をどのように低減できるか？
• RQ4 LLMは、知識抽出、クエリ処理、推論といった従来の知識グラフ技術をどのように強化できるか？
• RQ5 Large Knowledge Modelsは、人間の価値観や倫理的知識とどのように整合させれば、信頼性があり説明可能なAIを実現できるか？

主な発見

• 知識拡張型言語モデリングは、出力を構造的知識に根拠づけることで、LLMの事実の整合性を著しく向上させ、幻覚を低減する。
• 構造誘導型事前学習は、サンプル間およびサンプル内での一貫性を向上させ、より信頼性が高く解釈可能なモデル行動を実現する。
• LLMは知識グラフの効果的なコントローラーおよび構築者として機能でき、スケーラブルで自動化された知識ベース構築と動的更新を可能にする。
• 記号的推論とLLMを統合することで、説明可能で追跡可能な推論プロセスが実現され、信頼性と人間の解釈可能性が向上する。
• 知識表現と言語モデルを分離することで、独立した検証と保守が可能となり、真正性と信頼性が向上する。
• 五つの「A」の原則は、カバレッジ、整合性、真正性、推論の説明可能性のバランスを取る包括的なフレームワークを提供する。

Figure 2: Five-“A” principle of LKM.