[论文解读] Improving Slot Filling Performance with Attentive Neural Networks on Dependency Structures

Lifu Huang, Avirup Sil+2 more|arXiv (Cornell University)|Jul 4, 2017

Topic Modeling被引用 3

一句话总结

本文提出了一种用于槽填充的新型深度神经网络（DNN）架构，该架构利用正则化依存图来压缩查询与候选填充项之间的宽广上下文跨度，并结合局部与全局注意力机制以突出指示性上下文线索。该方法在关系抽取任务上实现了最高16%的F1分数提升，在槽填充验证任务上实现了最高8.5%的提升，优于当前最先进方法。

ABSTRACT

Slot Filling (SF) aims to extract the values of certain types of attributes (or slots, such as person:cities\_of\_residence) for a given entity from a large collection of source documents. In this paper we propose an effective DNN architecture for SF with the following new strategies: (1). Take a regularized dependency graph instead of a raw sentence as input to DNN, to compress the wide contexts between query and candidate filler; (2). Incorporate two attention mechanisms: local attention learned from query and candidate filler, and global attention learned from external knowledge bases, to guide the model to better select indicative contexts to determine slot type. Experiments show that this framework outperforms state-of-the-art on both relation extraction (16\% absolute F-score gain) and slot filling validation for each individual system (up to 8.5\% absolute F-score gain).

研究动机与目标

• 为解决槽填充任务中查询与填充实体之间存在宽广上下文间隔的挑战，而传统关系抽取模型对此类情况处理效果不佳。
• 通过建模依存结构而非原始句子，更有效地捕捉长距离依赖关系，从而提升槽填充性能。
• 通过结合局部注意力（查询-填充相关）与全局注意力（来自外部知识库）来增强槽类型指示符的识别能力。
• 减少对手工设计特征的依赖，提升泛化能力，尤其在细粒度和隐式槽类型上表现更优。

提出的方法

• 从依存解析中构建正则化依存图，以压缩查询与候选填充实体之间的宽广上下文。
• 使用卷积神经网络（CNN）处理依存图中所有<支配词, 依存词>词对作为输入。
• 应用局部注意力机制，计算每个二元组与查询和候选填充项拼接向量之间的相关性。
• 通过预训练的槽类型表示实现全局注意力机制，利用变换矩阵衡量二元组与每个槽类型的关联性。
• 结合两种注意力机制以指导池化操作，聚焦于与槽类型预测相关的上下文特征。
• 利用外部知识库增强全局注意力机制，提升对隐式或模糊触发词的检测能力。

实验结果

研究问题

• RQ1 深度神经网络在槽填充任务中的表现与传统关系抽取任务相比如何？两者之间存在哪些关键差异？
• RQ2 依存图表示是否能有效压缩查询与填充实体之间的宽广上下文跨度，从而提升槽填充性能？
• RQ3 局部与全局注意力机制在提升槽类型分类中指示性上下文线索识别方面，其作用程度如何？
• RQ4 该模型在依赖细微或模糊触发词的细粒度和隐式槽类型上的表现如何？

主要发现

• 与当前最先进方法相比，所提模型在关系抽取任务上实现了16%的绝对F1分数提升。
• 在槽填充验证任务中，模型F1分数最高提升了8.5个百分点，表现出强大的泛化能力。
• 对于具有显式触发词的槽类型（如org:subsidiaries），即使训练数据有限（少于507个实例），模型仍能实现高性能。
• 在上下文分离较远的槽类型（如per:states_of_residence和per:employee_of）上，性能提升最为显著，正则化依存图有效降低了噪声影响。
• 对于隐式槽类型（如org:location_of_headquarters），尽管训练数据量较大，性能仍较低，表明需要更优的实体类型监督机制。
• 错误分析显示，超过58%的误分类源于冲突线索，例如将per:city_of_residence误标为per:city_of_death，原因在于'home'等模糊术语的歧义性。