[论文解读] CANDiS: Coupled & Attention-Driven Neural Distant Supervision

Tushar Nagarajan, Sharmistha+1 more|arXiv (Cornell University)|Oct 26, 2017

Topic Modeling参考文献 10被引用 4

一句话总结

CANDiS 提出了一种新颖的端到端神经网络模型，用于关系抽取中的远程监督，通过动词短语和实体对相似性联合利用实例间耦合关系，并采用注意力驱动的记忆网络实现降噪。通过建模同时具备实例内（基于注意力）和实例间（基于耦合）关系的结构，CANDiS 在标准基准数据集上取得了最先进性能。

ABSTRACT

Distant Supervision for Relation Extraction uses heuristically aligned text data with an existing knowledge base as training data. The unsupervised nature of this technique allows it to scale to web-scale relation extraction tasks, at the expense of noise in the training data. Previous work has explored relationships among instances of the same entity-pair to reduce this noise, but relationships among instances across entity-pairs have not been fully exploited. We explore the use of inter-instance couplings based on verb-phrase and entity type similarities. We propose a novel technique, CANDiS, which casts distant supervision using inter-instance coupling into an end-to-end neural network model. CANDiS incorporates an attention module at the instance-level to model the multi-instance nature of this problem. CANDiS outperforms existing state-of-the-art techniques on a standard benchmark dataset.

研究动机与目标

• 通过利用不同实体对之间实例间的关联关系，解决远程监督关系抽取中高噪声水平的问题。
• 通过将全局语义耦合（特别是动词短语和实体对相似性）整合到实例表示中，提升模型鲁棒性。
• 开发一种端到端神经框架，联合优化关系预测与基于耦合的正则化。
• 通过使用共享参数的统一注意力架构，减少对手工设计特征的依赖，实现耦合实例间的参数共享。

提出的方法

• CANDiS 使用卷积神经网络（CNN）基于词嵌入、词性标注和相对位置嵌入，将句子编码为固定长度的向量。
• 一个具有 K=4 跳跃步数的记忆网络执行实例级注意力，从噪声实例集中选择相关句子以预测关系。
• 通过共享参数网络建模实例间耦合，计算实例嵌入之间的对称（逐元素乘积）和非对称（逐元素差值）表示。
• 耦合信号来源于预训练的 GloVe 嵌入，通过计算动词短语和实体对之间的余弦相似度获得，提供全局正则化信号。
• 模型采用多任务目标进行端到端训练：从记忆网络预测关系，以及从成对实例集获取基于耦合的误差信号。
• 最终输出通过门控机制结合注意力表示与耦合感知特征，其中门控权重可学习。

实验结果

研究问题

• RQ1 基于动词短语语义相似性的实例间耦合是否能提升远程监督下关系抽取的性能？
• RQ2 在噪声实例集中基于注意力的实例选择如何影响模型泛化能力与抗噪鲁棒性？
• RQ3 用于耦合的共享参数架构是否能提升不同实体对之间的表征学习能力？
• RQ4 使用预训练的 GloVe 嵌入作为耦合信号，能在多大程度上正则化基于 CNN 的实例表示？
• RQ5 关系预测与耦合信号的联合优化是否能在不同召回率水平下带来更好的性能表现？

主要发现

• CANDiS 在 Riedel 等人（2010）的基准数据集上超越了当前最先进方法，包括 Mintz 等人（2009）、Surdeanu 等人（2012）和 Zeng 等人（2015）。
• 注意力机制成功识别并优先选择包含直接关系证据的句子，如表 1 所示，同时抑制噪声或间接实例。
• 使用动词短语和实体对相似性耦合显著提升了模型性能，尤其在高召回率场景下表现突出。
• 耦合模块作为智能正则化器，通过注入全局语义一致性，提升局部实例表示的泛化能力。
• 模型实现了更优的精确率-召回率权衡，如图 2 所示的曲线所证实，表现出在多次评估迭代中的稳健性。
• 消融实验表明，动词短语和实体对相似性均对最终性能提升有显著贡献。