[论文解读] A Survey of Deep Learning Methods for Relation Extraction

Shantanu Kumar|arXiv (Cornell University)|May 10, 2017

Topic Modeling参考文献 18被引用 71

一句话总结

本文综述了用于关系抽取的深度学习方法，突出监督 CNN/PCNN 模型、带有多实例学习的远程监督，以及通过注意力机制提升处理嘈杂标签的能力。它讨论数据集、架构和未来方向。

ABSTRACT

Relation Extraction is an important sub-task of Information Extraction which has the potential of employing deep learning (DL) models with the creation of large datasets using distant supervision. In this review, we compare the contributions and pitfalls of the various DL models that have been used for the task, to help guide the path ahead.

研究动机与目标

• 将关系抽取作为信息提取的关键子任务进行动机说明，并强调在无需大量特征工程的情况下对基于 DL 的方法的需求。
• 评述用于关系抽取中句子编码的监督 CNN/PCNN 模型。
• 考察远程监督与多实例学习以扩大训练数据规模并处理噪声。
• 讨论注意力等前沿技术以及多标签设置在弱监督条件下提升抽取性能的进展。
• 识别在编码句子和利用关系方面的空白与未来方向。

提出的方法

• 描述作为 RE 模型输入特征的词嵌入和位置嵌入。
• 解释用于句子编码的 CNN/PCNN 架构，包含最大池化和分段池化。
• 讨论用于远程监督的多实例学习，以及每个实体对的句子集合如何被使用。
• 提出对实例进行选择性注意以对一个集合中的句子进行加权。
• 介绍多实例多标签 CNNs 以处理跨文档的重叠关系。
• 总结关系路径和类别关联如何旨在改进训练与推断。

实验结果

研究问题

• RQ1 哪些 DL 架构在关系抽取中对句子编码有效？
• RQ2 带有多实例学习的远程监督对关系抽取性能有何影响？
• RQ3 对实例集合的注意力机制是否能改善嘈杂监督下的结果？
• RQ4 多标签形式是否能在远程监督场景中捕捉到重叠关系？
• RQ5 在超越 CNN/PCNN 架构的方向上，还有哪些有前景的进一步改进 DL 基于关系抽取的方法？

主要发现

• 在远程监督关系抽取数据集上，DL 模型显著优于传统的非 DL 模型。
• 分段池化和基于注意力的池化策略在单句或全局池化基础上提供显著的性能提升。
• 对集合的选择性注意（软注意/硬注意）相比先前的 MIL 方法提升了精确率和召回率。
• 跨文档最大池化和多标签扩展进一步提升了处理每个实体对多种关系的能力。
• 在关系抽取中应用循环网络（RNN/LSTM）的研究仍有空白，暗示潜在的未来改进。