[论文解读] HIN: Hierarchical Inference Network for Document-Level Relation Extraction

Hengzhu Tang, Yanan Cao+5 more|arXiv (Cornell University)|Mar 28, 2020

Topic Modeling参考文献 18被引用 11

一句话总结

本文提出了一种分层推理网络（HIN），用于文档级关系抽取，通过在实体、句子和文档三个层次上建模多粒度推理。通过在多个子空间中应用翻译约束和双线性变换进行实体级推理，使用注意力机制进行句子级匹配，以及通过分层BiLSTM与注意力机制实现文档级聚合，HIN在DocRED数据集上取得了最先进性能，尤其在支持句子数量增加时表现更优。

ABSTRACT

Document-level RE requires reading, inferring and aggregating over multiple sentences. From our point of view, it is necessary for document-level RE to take advantage of multi-granularity inference information: entity level, sentence level and document level. Thus, how to obtain and aggregate the inference information with different granularity is challenging for document-level RE, which has not been considered by previous work. In this paper, we propose a Hierarchical Inference Network (HIN) to make full use of the abundant information from entity level, sentence level and document level. Translation constraint and bilinear transformation are applied to target entity pair in multiple subspaces to get entity-level inference information. Next, we model the inference between entity-level information and sentence representation to achieve sentence-level inference information. Finally, a hierarchical aggregation approach is adopted to obtain the document-level inference information. In this way, our model can effectively aggregate inference information from these three different granularities. Experimental results show that our method achieves state-of-the-art performance on the large-scale DocRED dataset. We also demonstrate that using BERT representations can further substantially boost the performance.

研究动机与目标

• 解决现有文档级关系抽取模型仅依赖实体级信息、未能充分利用句子级和文档级推理的局限性。
• 设计一种神经网络架构，能够有效捕捉并聚合来自实体、句子和文档三个粒度的推理信息。
• 提升在需要跨句子推理、共指消解和常识知识的复杂关系推理任务中的性能。
• 评估模型在支持句子数量变化时的鲁棒性，特别是在长文档或多句推理场景下。

提出的方法

• 通过在多个子空间中应用翻译约束和双线性变换，对目标实体对进行建模，实现实体级推理。
• 通过简单的注意力机制关注句子表示，并利用语义匹配机制将句子表示与实体级表示进行匹配，获得句子级推理。
• 通过分层BiLSTM编码句子级推理表示，再通过另一重注意力机制突出关键句子，从而捕捉文档级推理。
• 将实体级和文档级的推理表示拼接为固定长度向量，用于最终分类。
• 通过引入BERT嵌入提升上下文表示的质量。
• 采用分层聚合策略，确保信息从细粒度（实体）流向粗粒度（文档），支持复杂推理。

实验结果

研究问题

• RQ1 分层推理框架能否有效建模文档级关系抽取中的多粒度推理（实体、句子、文档）？
• RQ2 当支持句子数量增加时，所提出的HIN模型相较于先前方法表现如何？
• RQ3 引入BERT表示在多大程度上提升了文档级关系抽取的性能？
• RQ4 该模型能否在真实文档中处理复杂的推理类型，如逻辑推理、共指消解和常识推理？

主要发现

• HIN在大规模DocRED基准上取得了最先进性能，在标准设置和BERT增强设置下均优于先前方法。
• 当支持句子数量增加时，模型显著优于基线方法，表明其在处理复杂多句关系事实方面具有更强能力。
• 使用BERT表示显著提升了性能，证明上下文嵌入在捕捉长距离依赖方面的有效性。
• 消融实验表明，分层推理机制和多粒度聚合策略对性能提升至关重要。
• 案例研究显示，HIN能正确识别需要逻辑推理（如事实链）和共指消解的关系，而BERT-RE在这些情况下表现失败。