[论文解读] N-ary Relation Extraction using Graph State LSTM

Linfeng Song, Yue Zhang+2 more|arXiv (Cornell University)|Aug 28, 2018

Topic Modeling被引用 13

一句话总结

本文提出一种图状态LSTM模型用于跨句$n$元关系抽取，该模型保留原始输入图结构，通过循环状态转移实现在所有节点（包括兄弟节点）之间的完整信息传递。与以往将图拆分为两个DAG的方法不同，该方法在三元关系抽取上达到71.1%的准确率，优于当前最先进方法——双向DAG-LSTM的1.2%，并展现出更优的并行化能力与结构信息保留性能。

ABSTRACT

Cross-sentence $n$-ary relation extraction detects relations among $n$ entities across multiple sentences. Typical methods formulate an input as a extit{document graph}, integrating various intra-sentential and inter-sentential dependencies. The current state-of-the-art method splits the input graph into two DAGs, adopting a DAG-structured LSTM for each. Though being able to model rich linguistic knowledge by leveraging graph edges, important information can be lost in the splitting procedure. We propose a graph-state LSTM model, which uses a parallel state to model each word, recurrently enriching state values via message passing. Compared with DAG LSTMs, our graph LSTM keeps the original graph structure, and speeds up computation by allowing more parallelization. On a standard benchmark, our model shows the best result in the literature.

研究动机与目标

• 解决现有$n$元关系抽取模型中将输入图拆分为两个DAG所带来的结构信息损失问题。
• 通过在信息传递过程中保持完整图结构，提升对多句之间句法与话语依赖关系的建模能力。
• 通过避免在循环处理中对节点进行顺序排列，提升并行化与计算效率。
• 探究图循环网络（GRNs）在$n$元关系抽取中建模依赖与话语关系的有效性。
• 证明单一图LSTM在捕捉上下文与结构信息方面可优于两个独立的DAG-LSTM。

提出的方法

• 该模型采用单一图状态LSTM，使输入图中所有词语共享同一循环状态，从而通过依存与话语边实现双向信息传递。
• 每个词语的隐藏状态通过迭代聚合图中邻居节点的信息进行更新，支持在多次循环步骤中扩展上下文。
• 在整个训练与推理过程中保持图结构不变，避免因拆分为左到右与右到左DAG而导致的信息损失。
• 通过在图结构状态空间中应用门控循环单元（GRUs），扩展图循环网络（GRNs）以实现节点间的信息传播。
• 在每次循环步骤中，词语级状态可并行更新，相比顺序处理DAG的方法显著提升计算效率。
• 最终所有词语的隐藏状态用于分类$n$元关系，通过信息传递整合来自句法与话语边的特征。

实验结果

研究问题

• RQ1 统一的图状态LSTM模型是否能通过保留完整图结构，在$n$元关系抽取中超越拆分的DAG-LSTM模型？
• RQ2 通过完整图信息传递整合兄弟节点信息，是否能提升关系抽取的准确率？
• RQ3 图循环网络是否能在该任务中实现优于基于DAG的LSTM的并行化与计算效率？
• RQ4 图状态LSTM在标准基准上的性能与当前最先进方法——双向DAG-LSTM相比如何？
• RQ5 保留原始图结构在多句$n$元关系中建模跨句依赖关系方面，其增强程度如何？

主要发现

• 所提出的图状态LSTM在三元关系抽取基准上达到71.1%的准确率，较先前最先进方法——双向DAG-LSTM高出1.2个百分点。
• 在二元关系抽取任务中，该模型达到71.7%的准确率，较双向DAG-LSTM基线高出5.9个百分点。
• 在多分类关系抽取中，图状态LSTM与DAG-LSTM基线之间的性能差距显著扩大，表明其具备更强的上下文表征学习能力。
• 由于无需节点顺序约束，该模型展现出更优的并行化能力，可实现所有节点的高效同步计算。
• 通过保留原始图结构，该模型成功捕捉到兄弟关系与复杂依赖路径（如通过"gene"连接"exon-19"与"EGFR"的路径），而这些在DAG拆分方法中已丢失。
• 消融实验确认，完整图结构建模对于捕捉跨句$n$元关系中的长距离与多跳依赖关系至关重要。