[論文レビュー] Docs2KG: Unified Knowledge Graph Construction from Heterogeneous Documents Assisted by Large Language Models

Qiang Sun, Yuanyi Luo+6 more|UWA Profiles and Research Repository (University of Western Australia)|Jun 5, 2024

Topic Modeling被引用数 4

ひとこと要約

Docs2KGは、PDF、メール、Webページ、Excelファイルなどの異種の非構造的文書から、動的スキーマ生成を通じて複数モodalデータ（テキスト、表、図、画像）を統合することで、統合的かつLLM補強型の知識グラフ構築フレームワークを提案する。構造的および意味的関係を統合することで、効率的で意味的に豊かな照合検索と生成（RAG）を可能にし、LLMにおける誤り（ホールーシュネーション）を低減するとともに、洞察の発見を著しく向上させる。

ABSTRACT

Even for a conservative estimate, 80% of enterprise data reside in unstructured files, stored in data lakes that accommodate heterogeneous formats. Classical search engines can no longer meet information seeking needs, especially when the task is to browse and explore for insight formulation. In other words, there are no obvious search keywords to use. Knowledge graphs, due to their natural visual appeals that reduce the human cognitive load, become the winning candidate for heterogeneous data integration and knowledge representation. In this paper, we introduce Docs2KG, a novel framework designed to extract multimodal information from diverse and heterogeneous unstructured documents, including emails, web pages, PDF files, and Excel files. Dynamically generates a unified knowledge graph that represents the extracted key information, Docs2KG enables efficient querying and exploration of document data lakes. Unlike existing approaches that focus on domain-specific data sources or pre-designed schemas, Docs2KG offers a flexible and extensible solution that can adapt to various document structures and content types. The proposed framework unifies data processing supporting a multitude of downstream tasks with improved domain interpretability. Docs2KG is publicly accessible at https://docs2kg.ai4wa.com, and a demonstration video is available at https://docs2kg.ai4wa.com/Video.

研究の動機と目的

• 企業のデータレイクに蓄積された80％が非構造的フォーマットであるという状況において、多様な非構造的データ（テキスト、表、図、画像など）を統合的に抽出・統合する課題に対処すること。
• 事前に設計されたスキーマに依存するか、特定の文書形式やモダリティに限定された既存の知識グラフフレームワークの限界を克服すること。
• 出典の参照を維持しながら、構造的および意味的照合検索を可能にする、動的で人間が関与する（human-in-the-loop）知識グラフ構築を可能にすること。
• 出典を明示した多モーダル知識グラフに照合検索補強生成（RAG）を根拠とすることで、LLMにおけるホールーシュネーションを低減すること。
• 医療や研究分野など、多様な分野での実世界での導入を想定し、柔軟で拡張可能かつ公開可能なフレームワークを提供すること。

提案手法

• Docs2KGは、深層学習に基づくドキュメントレイアウト解析とMarkdown構造化パースを組み合わせた二重パスアーキテクチャを採用し、文書タイプにわたるカバレッジを最大化する。
• テキスト、表、図、画像からエンティティと関係を抽出し、モダリティ内（例：'has-child'、'before/after'）およびモダリティ間（例：'explain'、'same-time'）の関係を含む統合的知識グラフを構築する。
• LLMを活用して、異なるモダリティ間の意味的関係を生成する。たとえば、表のキャプションとその対応する表を'explain'や'same-time'でリンクする。
• すべてのノードにグラフ埋め込みモデルを適用し、RAG用の意味的類似度検索を可能にし、上位k件の関連ノードを取得し、マルチホップ照合検索によって拡張する。
• Cypherベースの照合検索をサポートし、特定の出来事や期間（例：2011年と2021年）に関連する文書コンポonentsを取得できる。
• フレームワークは動的かつ拡張可能に設計されており、人間が関与するフィードバックと出典の追跡可能性を提供し、RAGに適応する。

実験結果

リサーチクエスチョン

• RQ1 PDF、メール、Webページ、Excelファイルなど、複数のフォーマットを含む異種の非構造的文書から、統合的知識グラフをどのように構築できるか？
• RQ2 テキスト、表、図、画像を含む多モーダル情報は、どのように統合的で意味的に整合性のある知識グラフに効果的に統合できるか？
• RQ3 動的でLLM補強型の意味的関係が、知識グラフの解釈可能性と照合検索の表現力向上に果たす役割は何か？
• RQ4 構築された知識グラフは、ホワイトホールーシュネーションを低減し、プロンプトの根拠を強化することで、RAG性能をどの程度向上できるか？
• RQ5 構造的および意味的関係を統合することで、複数の情報源にまたがる複雑な文書コレクションにおける洞察の発見はどのように改善されるか？

主な発見

• Docs2KGは、香港の人口（2011–2021年）に関するPDFと、2021–2023年のExcelファイルからのデータを統合し、異種文書間の洞察抽出を可能にする統合的知識グラフを構築した。
• Cypherを用いた照合検索により、2011年と2021年の出来事に関連するコンポonentsを効果的に取得した。結果は、それぞれのソース（Excelは緑、PDFは赤）に対応する別個のノードとして可視化された。
• ノード埋め込みを用いた意味的類似度検索により、'2011年から2021年の人口情報'という照合検索に対して関連する表やテキストチャンクが取得され、関連ノードのマルチホップ拡張も実現した。
• 構造的および意味的に近接するノードを取得することで、RAGのパフォーマンスが向上し、LLMの出力を出典を明示した知識に根拠づけることができた。
• 人間が関与するフィードバックと元文書への追跡可能性を備えた、動的かつ拡張可能な知識グラフ構築が可能であり、反復的改善が可能である。
• https://docs2kg.ai4wa.com で公開されているDocs2KGは、再現性と実世界での導入を可能にし、医療や研究分野への応用を支援する。