[论文解读] Structured Minimally Supervised Learning for Neural Relation Extraction

Fan Bai, Alan Ritter|arXiv (Cornell University)|Mar 29, 2019

Natural Language Processing Techniques参考文献 58被引用 6

一句话总结

该论文提出了一种结构化、最小监督的神经关系抽取模型，结合一维卷积神经网络（PCNN）与潜在变量结构学习，以处理远程监督中的标签噪声和缺失事实。通过使用潜在变量建模句子级关系提及，并利用确定性因子和成对势能强制与知识库事实的一致性，该方法在基准数据集上实现了最先进性能，优于基于注意力机制的神经模型和先前的结构化方法。

ABSTRACT

We present an approach to minimally supervised relation extraction that combines the benefits of learned representations and structured learning, and accurately predicts sentence-level relation mentions given only proposition-level supervision from a KB. By explicitly reasoning about missing data during learning, our approach enables large-scale training of 1D convolutional neural networks while mitigating the issue of label noise inherent in distant supervision. Our approach achieves state-of-the-art results on minimally supervised sentential relation extraction, outperforming a number of baselines, including a competitive approach that uses the attention layer of a purely neural model.

研究动机与目标

• 解决在使用神经表示进行远程关系抽取时，噪声和不完整监督的挑战。
• 通过建模缺失事实和重叠关系，提升低资源关系抽取中的泛化能力和鲁棒性。
• 将深度神经网络的表征能力与结构化学习的归纳偏置相结合，以在最小监督下实现更好的推理。
• 在缓解弱监督带来的标签噪声影响的同时，实现PCNN的大规模训练。

提出的方法

• 该模型使用带位置嵌入的一维卷积神经网络（PCNN）学习句子级表征以进行关系预测。
• 引入关系提及的潜在变量，通过确定性因子将其与观测到的知识库事实关联。
• 成对势能强制预测的关系提及与知识库事实之间的一致性，同时在置信度高时允许推理覆盖约束。
• 由于边缘推断不可行，采用基于MAP的学习目标，实现带有结构约束的端到端训练。
• 该模型将结构化学习与端到端神经特征学习相结合，区别于先前使用稀疏特征的方法。
• 该框架支持对每对实体的多个关系进行联合推理，显式处理重叠关系。

实验结果

研究问题

• RQ1 在最小监督下，结合神经表示的结构化学习能否提升关系抽取性能？
• RQ2 神经模型在远程监督中处理标签噪声和缺失事实的效率如何？
• RQ3 通过确定性和成对势能建模潜在关系提及，是否能比纯神经方法或基于稀疏特征的方法实现更好的泛化？
• RQ4 端到端神经特征学习能否与结构化预测有效结合用于关系抽取？

主要发现

• 所提出的PCNN-NMAR模型在NytFb-68k和NytFb-280k基准数据集上实现了最小监督关系抽取的最先进性能。
• 在NytFb-68k上，该模型优于具有竞争力的基于注意力机制的神经模型（PCNN+ATT）和MultiR，F1值更高，且精度-召回率权衡更优。
• 该模型在标签噪声和缺失事实方面表现出更强的鲁棒性，表现为在高召回率区间中召回率提升而精度未下降。
• 加权版本的PCNN-NMAR在高召回率下精度较低，这与模型成功提取知识库中遗漏的真实正例的假设一致。
• 结果证实，结合潜在变量和神经表示的结构化学习在大规模、最小监督关系抽取中是有效的。