[论文解读] Docs2KG: Unified Knowledge Graph Construction from Heterogeneous Documents Assisted by Large Language Models

Qiang Sun, Yuanyi Luo+6 more|UWA Profiles and Research Repository (University of Western Australia)|Jun 5, 2024

Topic Modeling被引用 4

一句话总结

Docs2KG 提出了一种统一的、基于大语言模型增强的框架，用于从异构的非结构化文档（如 PDF、电子邮件、网页和 Excel 文件）构建知识图谱，通过动态模式生成整合多模态数据（文本、表格、图表、图像），实现高效的语义丰富型查询与检索增强生成（RAG），通过融合结构与语义关系，显著提升洞察发现能力并减少大语言模型中的幻觉现象。

ABSTRACT

Even for a conservative estimate, 80% of enterprise data reside in unstructured files, stored in data lakes that accommodate heterogeneous formats. Classical search engines can no longer meet information seeking needs, especially when the task is to browse and explore for insight formulation. In other words, there are no obvious search keywords to use. Knowledge graphs, due to their natural visual appeals that reduce the human cognitive load, become the winning candidate for heterogeneous data integration and knowledge representation. In this paper, we introduce Docs2KG, a novel framework designed to extract multimodal information from diverse and heterogeneous unstructured documents, including emails, web pages, PDF files, and Excel files. Dynamically generates a unified knowledge graph that represents the extracted key information, Docs2KG enables efficient querying and exploration of document data lakes. Unlike existing approaches that focus on domain-specific data sources or pre-designed schemas, Docs2KG offers a flexible and extensible solution that can adapt to various document structures and content types. The proposed framework unifies data processing supporting a multitude of downstream tasks with improved domain interpretability. Docs2KG is publicly accessible at https://docs2kg.ai4wa.com, and a demonstration video is available at https://docs2kg.ai4wa.com/Video.

研究动机与目标

• 解决从企业数据湖中提取和整合多模态、异构非结构化数据的挑战，其中 80% 的数据以非结构化格式存在。
• 克服现有知识图谱框架依赖预设模式或仅针对特定文档类型或模态的局限性。
• 实现动态、人工参与式（human-in-the-loop）的知识图谱构建，保持源文档引用，并支持结构化与语义化查询。
• 通过在源文档引用的多模态知识图谱中进行检索增强生成（RAG），减少大语言模型中的幻觉现象。
• 提供一种灵活、可扩展且公开可访问的框架，适用于医疗保健和科研等领域的实际部署。

提出的方法

• Docs2KG 采用双路径架构，结合基于深度学习的文档布局分析与 Markdown 结构化解析，以最大化覆盖各类文档类型。
• 它从文本、表格、图表和图像中提取实体与关系，构建包含模态内关系（如 'has-child'、'before/after'）和模态间关系（如 'explain'、'same-time'）的统一知识图谱。
• 该框架利用大语言模型生成模态之间的语义关系，例如通过 'explain' 或 'same-time' 将表格标题与其对应表格关联。
• 应用图嵌入模型对所有节点进行处理，以支持语义相似性搜索，检索最相关的 k 个节点，并通过多跳查询扩展相关节点。
• 系统支持基于 Cypher 的查询，用于检索与特定事件或时间段（如 '2011 年和 2021 年的事件'）相关的文档组件。
• 该框架设计为可动态更新与扩展，支持人工参与式优化与源文档可追溯性，以增强 RAG 效果。

实验结果

研究问题

• RQ1 如何从多种格式的异构非结构化文档（包括 PDF、电子邮件、网页和 Excel 文件）中构建统一的知识图谱？
• RQ2 如何有效整合多模态信息（文本、表格、图表和图像）到一个语义一致的知识图谱中？
• RQ3 动态的、大语言模型增强的语义关系在提升知识图谱可解释性与查询表达能力方面发挥何种作用？
• RQ4 所构建的知识图谱在多大程度上能通过减少幻觉与改善提示定位，增强检索增强生成（RAG）性能？
• RQ5 在复杂、多源文档集合中，结构关系与语义关系的结合如何提升洞察发现能力？

主要发现

• Docs2KG 顺利整合了关于香港人口（2011–2021 年）的 PDF 文档与 2021–2023 年的 Excel 文件数据，构建了统一的知识图谱，实现了跨文档的洞察提取。
• 系统通过 Cypher 查询有效检索了与 2011 年和 2021 年事件相关的组件，结果以不同颜色节点可视化呈现（Excel 数据为绿色，PDF 数据为红色）。
• 基于节点嵌入的语义相似性搜索，成功检索出与查询 '2011 年至 2021 年的人口信息' 相关的表格与文本片段，并实现了相关节点的多跳扩展。
• 通过检索在结构与语义上相近的节点，该框架显著提升了 RAG 性能，使大语言模型的生成结果基于源文档引用的知识。
• 系统支持动态、可扩展的知识图谱构建，具备人工参与式能力，支持迭代优化与原始文档的可追溯性。
• Docs2KG 在 https://docs2kg.ai4wa.com 公开可用，支持可复现性与在医疗保健和科研等领域的实际部署。