[論文レビュー] KAG: Boosting LLMs in Professional Domains via Knowledge Augmented Generation

Lei Liang, Mengshu Sun+17 more|arXiv (Cornell University)|Sep 10, 2024

Semantic Web and Ontologies被引用数 5

ひとこと要約

KAGは知識グラフを検索強化生成と統合し、専門分野におけるLLMの推論を強化します。マルチホップ QA ベンチマークと実世界のAnt Groupタスクにおいて、RAGベースラインを大きく上回る顕著な改善を達成します。

ABSTRACT

The recently developed retrieval-augmented generation (RAG) technology has enabled the efficient construction of domain-specific applications. However, it also has limitations, including the gap between vector similarity and the relevance of knowledge reasoning, as well as insensitivity to knowledge logic, such as numerical values, temporal relations, expert rules, and others, which hinder the effectiveness of professional knowledge services. In this work, we introduce a professional domain knowledge service framework called Knowledge Augmented Generation (KAG). KAG is designed to address the aforementioned challenges with the motivation of making full use of the advantages of knowledge graph(KG) and vector retrieval, and to improve generation and reasoning performance by bidirectionally enhancing large language models (LLMs) and KGs through five key aspects: (1) LLM-friendly knowledge representation, (2) mutual-indexing between knowledge graphs and original chunks, (3) logical-form-guided hybrid reasoning engine, (4) knowledge alignment with semantic reasoning, and (5) model capability enhancement for KAG. We compared KAG with existing RAG methods in multihop question answering and found that it significantly outperforms state-of-theart methods, achieving a relative improvement of 19.6% on 2wiki and 33.5% on hotpotQA in terms of F1 score. We have successfully applied KAG to two professional knowledge Q&A tasks of Ant Group, including E-Government Q&A and E-Health Q&A, achieving significant improvement in professionalism compared to RAG methods.

研究の動機と目的

• 明示的なKG意味論と推論を検索ベースのLLMと組み合わせて、ドメイン知識サービスの改善を動機付ける。
• LLMに適した知識表現とグラフとテキスト塊の相互インデックス作成を開発し、検索と計画を強化する。
• 複雑な多段階質問のために、計画、推論、検索を統一する論理形態導 guided ハイブリッドソルバーを創出する。
• 専門分野での正確性を向上させ、ノイズを低減するために、オフラインとオンラインの知識意味論を整合させる。
• マルチホップQAベンチマークと産業応用（E-GovernmentとE-Health）で有効性を示す。

提案手法

• LLMFriSPGという、インスタンスと概念を分離し、テキスト塊と相互インデックスできるLLMフレンドリーな知識表現フレームワークを提案する。
• 論理形態導 guided ハイブリッド解法エンジンを導入し、計画、推論、検索演算子を用いてKG推論、言語推論、数値計算を融合する。
• ドメイン知識をオフライン（KG制約）とオンライン検索で結びつける Semantic Reasoningによる知識整合を実装する。
• このフレームワークのモジュールを支えるために、自然言語理解（NLU）、自然言語推論（NLI）、自然言語生成（NLG）機能を強化する全体的なKAGモデルを強化する。
• 三部構成のKAGパイプラインを採用する：オフラインインデックス用のKAG-Builder、推論用のKAG-Solver、モダリティ別能力を持つKAG-Model。
• 2WikiMultiHopQA、MuSiQue、HotpotQAでHippoRAGに対して有意なF1の向上を検証；Ant GroupのE-GovernmentとE-Health QAタスクに展開。

実験結果

リサーチクエスチョン

• RQ1 知識グラフとベクトル検索を統合して、LLMのドメイン固有の推論をどのように改善できるか？
• RQ2 論理形態導 guided ハイブリッドエンジンは、多段階・段落間QAタスクで従来のRAGを上回ることができるか？
• RQ3 LLMフレンドリーな知識表現と意味的整合が、専門分野における検索精度と推論信頼性に与える影響は？
• RQ4 KAGは既存のRAGベースラインと比較して、実世界の専門QAタスクでどの程度の性能を発揮するか？
• RQ5 オープンソースKGエンジンとのネイティブ統合を実現するための実践的手順は何か？

主な発見

• KAGはマルチホップQAベBenchmarkで最先端のベースラインを上回り、2WikiMultiHopQAで相対F1が19.6%、MuSiQueで12.2%、HotpotQAで12.5%の改善を達成。
• 評価されたタスク全体でHippoRAGを上回る検索指標の顕著な改善も示される。
• Ant GroupのE-GovernmentおよびE-Health QAタスクにおけるKAGの適用は、従来のRAG手法よりはるかに高い正確性を実現。
• KAGはOpenSPG上でネイティブにサポートされる予定で、ドメイン知識サービスのローカル開発を促進する。
• このフレームワークは、KG意味論と象徴的な論理形を活用することで、専門分野における生成品質と決定論的推論の両方を改善することを示している。