[论文解读] Multi-labeled Relation Extraction with Attentive Capsule Network

Xinsong Zhang, Pengshuai Li+2 more|arXiv (Cornell University)|Nov 11, 2018

Topic Modeling参考文献 26被引用 12

一句话总结

本文提出 Att-CapNet，一种用于多标签关系抽取的新型注意力胶囊网络，通过整合基于注意力的路由机制与滑动边界损失函数，显著提升了在存在重叠、离散关系提及的句子中特征聚类与关系检测的性能。该模型在 SemEval-2010 和 NYT-10 基准测试中达到最先进水平，显著优于先前基于 CNN 和 RNN 的方法，在处理多个高度重叠的关系时表现更优。

ABSTRACT

To disclose overlapped multiple relations from a sentence still keeps challenging. Most current works in terms of neural models inconveniently assuming that each sentence is explicitly mapped to a relation label, cannot handle multiple relations properly as the overlapped features of the relations are either ignored or very difficult to identify. To tackle with the new issue, we propose a novel approach for multi-labeled relation extraction with capsule network which acts considerably better than current convolutional or recurrent net in identifying the highly overlapped relations within an individual sentence. To better cluster the features and precisely extract the relations, we further devise attention-based routing algorithm and sliding-margin loss function, and embed them into our capsule network. The experimental results show that the proposed approach can indeed extract the highly overlapped features and achieve significant performance improvement for relation extraction comparing to the state-of-the-art works.

研究动机与目标

• 为解决从单个句子中抽取多个重叠关系的挑战，当前神经网络模型因特征融合与空间敏感性而难以应对。
• 克服最大池化与固定池化在捕捉句子中离散、非连续关系特征方面的局限性。
• 通过动态特征聚类建模高层关系表征，提升多标签场景下的关系抽取性能。
• 设计一种损失函数，通过动态调整关系置信度阈值，妥善处理“无关系”类别。

提出的方法

• 模型使用 Bi-LSTM 或 CNN 从输入句子中提取低层次语义特征。
• 将低层次特征嵌入胶囊中，并通过注意力路由算法进行聚类，形成高层关系表征。
• 基于注意力的路由机制可动态识别并根据特征相关性，将相关低层次胶囊路由至高层胶囊。
• 引入滑动边界损失函数以处理多标签场景，仅当所有其他关系概率均低于动态调整的阈值时，才预测为“无关系”。
• 胶囊网络架构相比传统池化方法，能更好地保留关系特征的空间与结构信息。
• 整个流程包括特征提取、基于胶囊的特征聚类以及端到端训练的关系预测。

实验结果

研究问题

• RQ1 胶囊网络能否有效捕捉并聚类多标签关系抽取中高度重叠且离散的关系特征？
• RQ2 与胶囊网络中的标准动态路由相比，基于注意力的路由在特征路由精度上是否有所提升？
• RQ3 滑动边界损失函数是否比固定边界或标准交叉熵损失更有效地处理多标签关系抽取中的“无关系”类别？
• RQ4 所提出的 Att-CapNet 模型是否在标准基准测试中优于现有的基于 CNN 和 RNN 的模型？
• RQ5 当关键关系词汇在句子中空间分离时，该模型在单个句子中检测多个关系的能力如何？

主要发现

• 所提出的 Att-CapNet 模型在 SemEval-2010 Task 8 数据集上达到 84.5% 的 F1 分数，显著优于最佳基线方法。
• 消融实验表明，移除基于注意力的路由会使 F1 降低 0.9 个百分点，移除滑动边界损失会使 F1 降低 2.2 个百分点。
• 在案例研究中，Att-CapNet 成功识别出多标签句子中的所有标注关系，而最大池化与词级别注意力方法仅能检测出一个关系。
• 图 4 中的 PR 曲线显示，同时启用两个模块的 Att-CapNet 在所有召回水平下均表现出最佳整体性能。
• 该模型在检测重叠关系方面表现出色，例如在同一句子中同时识别出 'place_born'、'place_lived' 和 'place_death'。
• 滑动边界损失函数通过根据训练进度动态调整阈值，有效防止了对“无关系”预测的过度自信。