[论文解读] An attention-based Bi-GRU-CapsNet model for hypernymy detection between compound entities

Qi Wang, Chenming Xu+4 more|arXiv (Cornell University)|May 13, 2018

Natural Language Processing Techniques参考文献 27被引用 8

一句话总结

该论文提出了一种基于注意力机制的Bi-GRU-CapsNet模型，用于检测复合实体（如医学症状和疾病）之间的上下位关系。该模型利用双向门控循环单元处理未登录词问题，通过注意力机制突出实体间的差异，并利用胶囊网络对上下位关系进行分类。该模型在英文和中文语料库上分别取得了90.35和95.26的SOTA F1分数，优于现有方法。

ABSTRACT

Named entities are usually composable and extensible. Typical examples are names of symptoms and diseases in medical areas. To distinguish these entities from general entities, we name them extit{compound entities}. In this paper, we present an attention-based Bi-GRU-CapsNet model to detect hypernymy relationship between compound entities. Our model consists of several important components. To avoid the out-of-vocabulary problem, English words or Chinese characters in compound entities are fed into the bidirectional gated recurrent units. An attention mechanism is designed to focus on the differences between the two compound entities. Since there are some different cases in hypernymy relationship between compound entities, capsule network is finally employed to decide whether the hypernymy relationship exists or not. Experimental results demonstrate

研究动机与目标

• 为解决电子健康记录中常见的多词医学症状和疾病等复合实体之间的上下位关系检测挑战。
• 通过双向GRU建模子词单元，克服现有方法中的未登录词（OOV）问题。
• 通过定制化的注意力机制捕捉复合实体之间上下位关系的细微差异。
• 通过胶囊网络建模实体组件之间的层次关系，提升分类鲁棒性。
• 构建并基于两个新语料库（英文和中文）进行评估，语料包含症状与疾病对的上下位关系检测。

提出的方法

• 双向门控循环单元（Bi-GRUs）处理复合实体中的单个英文单词或中文字符，生成上下文表征，并缓解未登录词问题。
• 注意力机制基于两个复合实体之间的差异计算动态权重，聚焦于区分性成分而非共享部分。
• 注意力机制使用可学习参数 $ a $ 和 $ b $，其中 $ \alpha_i^{(k)} = a w_i^{(k)} + b $，并避免使用softmax以保留原始注意力分数。
• 胶囊网络处理经过注意力加权的表征，建模层次关系，并输出是否存在上下位关系的最终判断。
• 模型在实体对上端到端进行训练，不依赖外部上下文或预训练语言模型。
• 评估了一种子词嵌入求和的变体作为基线，用于对比未登录词处理能力和性能表现。

实验结果

研究问题

• RQ1 基于注意力机制的Bi-GRU-CapsNet模型能否有效检测医学文本中复合实体之间的上下位关系，特别是在未登录词情况下？
• RQ2 所提出的注意力机制（强调实体间差异）相比均匀注意力或无注意力机制，是否能显著提升检测性能？
• RQ3 胶囊网络的引入是否增强了模型捕捉复合实体中层次性和组合性关系的能力？
• RQ4 该模型在英文和中文医学语料库上的表现如何？是否具备跨语言泛化能力？
• RQ5 子词建模、注意力机制和胶囊网络对整体性能提升的相对贡献分别是什么？

主要发现

• 所提模型在英文语料库上取得90.35的F1分数，在中文语料库上取得95.26的F1分数，优于全部六种基线方法。
• 采用不等权重注意力（即 $ a=1, b=0 $）且不使用softmax的模型表现最佳，表明对差异的原始注意力最为有效。
• 该模型性能显著优于基线方法，包括使用子词嵌入求和的方法，在两种语言上的F1分数均超过89%。
• 在中文语料库上，特征向量方法（子词嵌入求和）的召回率为94.78%，略高于所提模型的94.44%，但所提模型在F1和精确率上仍更优。
• 聚焦于实体间差异部分的注意力机制提升了泛化能力，尤其在包含已知组件但未见过的配对上表现更优。
• 胶囊网络组件通过建模层次关系提升了分类性能，在消融实验中优于简单分类器。