[论文解读] Knowledge Graph Anchored Information-Extraction for Domain-Specific Insights

Vivek Khetan, K. M. Annervaz+4 more|arXiv (Cornell University)|Apr 18, 2021

Topic Modeling参考文献 6被引用 4

一句话总结

本文提出了一种基于知识图谱锚定的信息抽取流水线，利用最先进的NLP模型——bi-LSTM-CRF用于实体抽取，基于注意力的SRL，以及基于动词的关系抽取——从非结构化金融文档中自动提取特定任务的监管变更信息。该方法通过将抽取的数据集成到领域特定的知识图谱中，实现实时洞察，显著减少了人工监控监管更新的工作量，并展现出高效的摘要能力。

ABSTRACT

The growing quantity and complexity of data pose challenges for humans to consume information and respond in a timely manner. For businesses in domains with rapidly changing rules and regulations, failure to identify changes can be costly. In contrast to expert analysis or the development of domain-specific ontology and taxonomies, we use a task-based approach for fulfilling specific information needs within a new domain. Specifically, we propose to extract task-based information from incoming instance data. A pipeline constructed of state of the art NLP technologies, including a bi-LSTM-CRF model for entity extraction, attention-based deep Semantic Role Labeling, and an automated verb-based relationship extractor, is used to automatically extract an instance level semantic structure. Each instance is then combined with a larger, domain-specific knowledge graph to produce new and timely insights. Preliminary results, validated manually, show the methodology to be effective for extracting specific information to complete end use-cases.

研究动机与目标

• 为解决金融等快速演变领域中监管变更的及时检测挑战，其中人工监控不可行。
• 通过仅从大量非结构化监管文本中提取与任务相关的信息，减少人工认知负荷。
• 构建一个可扩展的半自动系统，将抽取的信息集成到领域特定知识图谱中，实现持续的洞察生成。
• 基于用户定义的标准和语义相似性，实现可操作的通知和动态更新。
• 开发一个可复用的框架，适用于金融以外的领域，特别是监管与合规领域。

提出的方法

• 在自定义标注的监管文章数据集与CoNLL 2017数据集的合并数据集上训练bi-LSTM-CRF模型，以提升实体抽取性能。
• 采用基于注意力机制的深度SRL模型，识别谓词并为句子中的标记分配语义角色（例如，施事、受事）。
• 采用基于动词的关系抽取方法，利用动词的句法和语义线索，识别实体对之间的多重关系。
• 通过一个过滤步骤，仅保留同时被SRL和自定义实体抽取器检测到的实体，以提高精确率。
• 通过OpenIE和ClauseIE的启发式规则对抽取的三元组进行增强，将知识图谱的覆盖范围扩展至数据模型的原始范围之外。
• 最终的知识图谱整合了来自NIC数据库的领域特定数据，包括机构、资产和监管关系，并通过持续接收新文章流实现动态更新。

实验结果

研究问题

• RQ1 混合NLP流水线能否有效从非结构化法律与监管文本中提取特定任务的监管事件，特别是阈值变更？
• RQ2 锚定于抽取的语义三元组的知识图谱在多大程度上能提升领域特定洞察的及时性与相关性？
• RQ3 多种NLP模型（实体抽取、SRL、关系抽取）的集成在多大程度上能减少监管监控的人工工作量？
• RQ4 语义相似性与基于规则的系统能否在无需完整领域本体工程的情况下生成准确且个性化的通知？
• RQ5 在现实世界的监管应用场景中，抽取信息的摘要比率（即输入文档大小除以输出抽取结构大小）与原始文档大小相比如何？

主要发现

• 系统成功从131篇监管文章中的约4,500个句子中提取了7种实体类型，各类实体实例数量从561个（'regulated_activity_threshold'）到6,752个（'regulatory_authority'）不等。
• 流水线实现了高召回率，同时保持可接受的精确率，使用户能够轻松舍弃无关结果，有效支持了减少人工工作量的目标。
• 摘要比率（定义为输入文档大小除以输出抽取结构大小）表现令人鼓舞，但具体数值仍在评估中。
• 通过启发式规则增强的OpenIE和ClauseIE三元组显著扩展了知识图谱，使其覆盖的节点与关系远超初始数据模型范围，显著提升了图谱的丰富度。
• 通过用户定义的订阅规则和基于WordNet的语义相似性，成功生成了通知，实现了基于角色的告警功能。
• 随着时间推移，持续摄入数据并查询的演化知识图谱，使领域级洞察得以自动生成。