[论文解读] Document-Level $N$-ary Relation Extraction with Multiscale Representation Learning

Robin Jia, Cliff Wong+1 more|arXiv (Cornell University)|Apr 4, 2019

Topic Modeling参考文献 28被引用 13

一句话总结

本文提出了一种多尺度、以实体为中心的神经架构，用于文档级 $n$-元关系抽取，通过整合不同文本跨度和子关系层次的表示，在提升召回率的同时，通过弱信号融合提高精确率。在生物医学文本上的评估表明，该方法显著优于以往的跨句 $n$-元关系抽取方法，通过引入全文档上下文和层次化子关系建模，实现了显著性能提升。

ABSTRACT

Most information extraction methods focus on binary relations expressed within single sentences. In high-value domains, however, $n$-ary relations are of great demand (e.g., drug-gene-mutation interactions in precision oncology). Such relations often involve entity mentions that are far apart in the document, yet existing work on cross-sentence relation extraction is generally confined to small text spans (e.g., three consecutive sentences), which severely limits recall. In this paper, we propose a novel multiscale neural architecture for document-level $n$-ary relation extraction. Our system combines representations learned over various text spans throughout the document and across the subrelation hierarchy. Widening the system's purview to the entire document maximizes potential recall. Moreover, by integrating weak signals across the document, multiscale modeling increases precision, even in the presence of noisy labels from distant supervision. Experiments on biomedical machine reading show that our approach substantially outperforms previous $n$-ary relation extraction methods.

研究动机与目标

• 解决现有 $n$-元关系抽取方法中因仅限于短文本跨度（例如三句连续文本）而导致的召回率有限的问题。
• 通过采用以实体为中心的建模范式，避免提及级预测的组合爆炸问题，实现以实体元组级别进行关系预测。
• 通过在多个文本跨度和子关系上整合弱信号，提升远程监督下的精确率。
• 实现对复杂、跨文档的 $n$-元关系（如药物-基因-突变相互作用）的抽取，其中实体分散在不同段落中。
• 提供一种可扩展的端到端框架，用于高价值领域知识的获取，特别是在精准肿瘤学领域。

提出的方法

• 该模型采用以实体为中心的方法，对每个实体元组仅进行一次预测，而非对每个提及元组进行预测，从而减少组合爆炸问题。
• 在话语单元（如句子或段落）内计算实体元组的提及级表示，包括完整的 $n$-元关系以及子关系（如药物-基因、基因-突变）。
• 通过多尺度学习，将来自多个文本跨度和子关系的表示整合为统一的实体级表示。
• 该架构在不同尺度上整合表示：句子级、段落级和文档级，实现整体上下文建模。
• 子关系建模使得即使所有实体未同时出现在单一话语单元中，也能预测 $n$-元关系。
• 该方法利用远程监督结合多尺度表示学习，通过在跨度和子关系上聚合弱信号，实现标签去噪。

实验结果

研究问题

• RQ1 通过将上下文扩展至短文本跨度之外，文档级 $n$-元关系抽取系统是否能显著提升召回率，超越受限于跨度的方法？
• RQ2 与提及级方法相比，以实体为中心的建模范式在全文档抽取中，如何降低计算与学习复杂度？
• RQ3 在存在噪声远程监督的情况下，多尺度表示学习（涵盖多个话语单元和子关系）能在多大程度上提升精确率？
• RQ4 当关键实体分散在不同段落中时，子关系建模是否能实现 $n$-元关系的检测？
• RQ5 在高价值生物医学领域，该方法与现有跨句 $n$-元关系抽取系统相比表现如何？

主要发现

• 所提方法在生物医学机器阅读基准上显著优于以往的 $n$-元关系抽取方法，实现了更高的召回率与精确率。
• 通过将作用范围扩展至整个文档，系统捕获了跨度受限模型所遗漏的 $n$-元关系，例如分散在多个段落中的药物-基因-突变相互作用。
• 以实体为中心的建模范式避免了提及级预测的组合爆炸，实现了可扩展且高效的文档级推理。
• 多尺度学习有效结合了来自不同文本跨度和子关系的弱信号，即使在噪声远程监督下也能提升精确率。
• 子关系表示的整合使得模型即使在完整实体集未共现于单一话语单元时，也能检测到关系。
• 该方法可推广至三元关系之外，通过增加效应、癌症类型或证据类型等字段，扩展至更高阶关系。