[论文解读] Extracting Summary Knowledge Graphs from Long Documents

Zeqiu Wu, Rik Koncel-Kedziorski+2 more|arXiv (Cornell University)|Sep 19, 2020

Topic Modeling参考文献 36被引用 8

一句话总结

本文提出了一项新颖的文本到图任务，旨在从长篇科学文献中提取紧凑且关键的知识图谱，提出了一个包含200,000对文档/图谱的数据集，涵盖自动与人工标注。该研究评估了图学习与文本摘要基线模型，发现关系显著性预测极具挑战性，尤其受指代消解错误与实体提及碎片化的影响，强调了在知识图谱摘要中需要更优的上下文建模能力。

ABSTRACT

Knowledge graphs capture entities and relations from long documents and can facilitate reasoning in many downstream applications. Extracting compact knowledge graphs containing only salient entities and relations is important but challenging for understanding and summarizing long documents. We introduce a new text-to-graph task of predicting summarized knowledge graphs from long documents. We develop a dataset of 200k document/graph pairs using automatic and human annotations. We also develop strong baselines for this task based on graph learning and text summarization, and provide quantitative and qualitative studies of their effect.

研究动机与目标

• 解决从长文档（如科学论文）中提炼紧凑且关键知识图谱的挑战。
• 开发一项新的文本到图任务，专注于预测反映文档核心思想的摘要知识图谱，类似于摘要的作用。
• 创建一个大规模、公开访问的200,000对文档/图谱数据集，结合自动与人工标注以供评估。
• 评估并比较图学习与文本摘要模型在此新任务上的表现，识别关键失败模式，如指代消解错误与实体碎片化。
• 提供一种评估范式，在准确率与冗余性之间取得平衡，同时考虑实体引用中的语言变异性。

提出的方法

• 利用摘要和现有知识资源的弱监督构建200,000对科学文献/图谱对的数据集，整合自动与人工标注。
• 提出两种强基线模型：基于图注意力网络（GAT）的图模型（G2G），用于端到端知识图谱预测；基于BERT的文本摘要模型（TTG，BertSumExt）的文本到图模型。
• 采用宽松匹配策略进行实体与关系评估，以应对语言变异性与指代消解问题，提升对细微措辞差异的鲁棒性。
• 采用混合评估协议，测量使用宽松匹配的实体与关系F1分数，并分析不同实体类型与文档部分的表现。
• 通过分析提及长度、指代消解错误与分段实体分布，研究模型失败原因，揭示依赖文档前半部分的模型偏差。
• 引入消融研究，评估实体提及长度与频率对显著性预测的影响，尤其关注长命名技术实体的影响。

实验结果

研究问题

• RQ1 图学习与文本摘要模型在长文档中预测显著实体与关系的能力如何，以支持摘要知识图谱的构建？
• RQ2 指代消解错误与实体碎片化在多大程度上影响摘要知识图谱中关系预测的准确性？
• RQ3 为何基于频率的方法难以识别显著实体，特别是在关键实体具有长复合名称时？
• RQ4 实体提及在文档中的位置（如第一部分与后半部分）如何影响模型性能与偏差？
• RQ5 关于实体提及的上下文信息在多大程度上能提升显著知识图谱提取的准确性？

主要发现

• 基于图注意力网络的G2G模型在实体与关系F1分数上优于依赖文本摘要的TTG模型，表明图级别建模在此任务中更有效。
• TTG模型对论文第一部分的实体表现出强烈偏好（85%的预测显著实体位于第一部分），而G2G的偏好较低（68%），但仍对文档后半部分的实体表现欠佳。
• 实体类型'Metric'最难预测，仅5–6%的显著实体属于此类，且在第一部分出现的可能性最低（人类测试集中占36.7%），导致召回率偏低。
• 基于频率的方法（TKF）常因提及碎片化而失败，例如将'Bayesian semi-supervised Chinese word segmentation model'错误预测为'Chinese words'，导致无法识别完整显著实体。
• 指代消解错误显著影响关系准确性，因预测图中错误或无关实体导致高假阳性关系得分。
• TKF模型预测显著实体的平均提及字符串长度为2.1，低于G2G与TTG模型（2.5），表明较短、碎片化的提及更可能被误判为显著。