[论文解读] An Attentive Neural Architecture for Fine-grained Entity Type Classification

Sonse Shimaoka, Pontus Stenetorp+2 more|arXiv (Cornell University)|Apr 19, 2016

Topic Modeling参考文献 12被引用 13

一句话总结

该论文提出了一种基于注意力的神经架构，通过递归组合上下文表征实现细粒度实体类型分类，在 FIGER 数据集上取得了 74.94% 的宽松微平均 F1 分数，相较于先前方法相对提升了 2.59%，达到当前最先进水平。该模型利用注意力机制识别出在语言上与实体类型归属相关的表达。

ABSTRACT

In this work we propose a novel attention-based neural network model for the task of fine-grained entity type classification that unlike previously proposed models recursively composes representations of entity mention contexts. Our model achieves state-of-the-art performance with 74.94% loose micro F1-score on the well-established FIGER dataset, a relative improvement of 2.59%. We also investigate the behavior of the attention mechanism of our model and observe that it can learn contextual linguistic expressions that indicate the fine-grained category memberships of an entity.

研究动机与目标

• 通过实现细粒度类型预测，解决 NLP 应用中粗粒度实体类型分类的局限性。
• 开发一种神经模型，通过递归组合上下文表征，而非依赖固定大小的窗口或稀疏特征。
• 探究注意力机制是否有助于模型识别并聚焦于指示实体类型的语言上有意义的表达。
• 在细粒度实体类型分类的基准 FIGER 数据集上实现最先进性能。

提出的方法

• 使用双向 LSTM 分别对实体提及及其左右上下文进行编码，以生成上下文表征。
• 在上下文中采用分层注意力机制，根据其对类型预测的相关性动态加权重要短语或词语。
• 将提及表征与上下文表征拼接后，通过逻辑回归层预测多个类型。
• 模型使用来自 Common Crawl 的预训练大小写字母词嵌入（300D），并在训练过程中保持冻结以提升泛化能力。
• 采用 15 个词的固定大小上下文窗口和 5 个词的提及窗口，对提及表征应用 0.5 的 dropout 正则化。
• 模型训练使用 Adam 优化器，学习率为 0.005，并基于开发集性能进行早停。

实验结果

研究问题

• RQ1 一种通过递归组合上下文表征的神经模型是否能在细粒度实体类型分类中超越先前方法？
• RQ2 注意力机制的引入是否使模型能够识别并聚焦于语言上有意义的表达，从而指示实体类型归属？
• RQ3 与基线模型相比，注意力机制在 FIGER 基准上的性能提升程度如何？
• RQ4 在不进行微调的情况下，模型能否通过预训练嵌入有效泛化到 OOV（未登录词）？

主要发现

• 所提出的注意力神经架构在 FIGER 数据集上实现了 74.94% 的宽松微平均 F1 分数，创下新的最先进性能记录。
• 相较于之前最佳方法，相对提升了 2.59%，证明了递归上下文组合与注意力机制的有效性。
• 注意力权重的可视化显示，模型成功聚焦于提及附近的语义相关表达，如 'starring' 和 'Republican Governor'。
• 模型还关注更远距离的表达，如 'filmmakers'，表明其具备捕捉与类型分类相关长距离依赖关系的能力。
• 注意力机制使模型能够学习到对细粒度实体类型具有强指示作用的上下文语言线索。