[论文解读] Attention-Based Capsule Networks with Dynamic Routing for Relation Extraction

Ningyu Zhang, Shumin Deng+4 more|arXiv (Cornell University)|Dec 29, 2018

Topic Modeling参考文献 25被引用 17

一句话总结

本文提出了一种基于注意力机制的胶囊网络，并结合动态路由，用于在多实例多标签学习框架下的端到端关系抽取。通过迭代路由和词级注意力建模关系，该模型在单关系与多关系抽取任务中均提升了精确率，在Wikidata和NYT基准测试中优于基线模型。

ABSTRACT

A capsule is a group of neurons, whose activity vector represents the instantiation parameters of a specific type of entity. In this paper, we explore the capsule networks used for relation extraction in a multi-instance multi-label learning framework and propose a novel neural approach based on capsule networks with attention mechanisms. We evaluate our method with different benchmarks, and it is demonstrated that our method improves the precision of the predicted relations. Particularly, we show that capsule networks improve multiple entity pairs relation extraction.

研究动机与目标

• 为解决现有神经网络模型在关系抽取中的局限性，特别是对空间关系处理不佳以及固定向量表示的问题。
• 通过胶囊网络建模复杂且交错的特征，以改进多标签关系抽取。
• 通过整合词级注意力机制，动态加权关键词语，以增强特征表示。
• 实现在单个句子中对多个实体对同时预测多个关系。
• 评估胶囊网络在关系抽取场景下的有效性，此前的研究尚未探索该架构。

提出的方法

• 模型首先使用双向LSTM层进行句子编码，随后采用胶囊网络，以动态路由替代传统池化操作实现特征传播。
• 动态路由通过迭代计算类似注意力的权重，使胶囊能够基于低层胶囊之间的共识来路由信息。
• 在位置嵌入上应用词级注意力，根据其与关系预测的相关性，为与实体相关的不同位置分配不同权重。
• 胶囊网络将多标签分类问题转化为多个二分类任务，从而实现在单个句子中联合预测多个关系。
• 在消融研究中，用全连接层替换主胶囊层，以隔离胶囊网络的贡献。
• 模型采用交叉熵损失结合L2正则化进行端到端训练，超参数在验证集上进行调优。

实验结果

研究问题

• RQ1 与CNN和RNN相比，结合动态路由的胶囊网络是否能提升关系抽取性能？
• RQ2 词级注意力如何增强在多个实体对情境下与关系相关词语的表示？
• RQ3 在关系抽取中，动态路由机制是否比最大池化或平均池化更好地保持结构关系？
• RQ4 在多关系抽取场景下，即单个句子中多个关系共现时，模型表现如何？
• RQ5 在性能与训练效率之间取得平衡时，动态路由的最优迭代次数和胶囊维度是多少？

主要发现

• 所提模型在Wikidata数据集上达到0.3召回率时的精确率为0.422，优于未使用胶囊网络的基线模型。
• 消融研究显示，若移除词级注意力，精确率将降至0.395（在0.3召回率下），表明其具有显著贡献。
• 采用3轮动态路由的模型达到最佳性能，精确率为0.422（在0.3召回率下），而更多轮次反而导致性能下降。
• 胶囊维度设置为d=8时，在性能与训练时间之间取得最佳平衡，而d=32在合理训练轮次内无法收敛。
• 胶囊网络在单实体对与多实体对关系抽取中均优于Bi-LSTM基线模型，尤其在捕捉复杂重叠关系方面表现更优。
• 模型在多关系设置下表现出强鲁棒性，能够在一个句子中同时成功预测多个实体对的多个关系。