[论文解读] Exploring Different Dimensions of Attention for Uncertainty Detection

Heike Adel, Hinrich Schütze|arXiv (Cornell University)|Dec 20, 2016

Topic Modeling参考文献 33被引用 4

一句话总结

本文提出了新颖的注意力机制——外部注意力与序列保持注意力，用于自然语言处理中的不确定性检测。通过利用外部提示词典并保持注意力计算过程中的序列顺序，所提出的模型在Wikipedia基准上超越了先前方法，实现了新的SOTA性能，F1分数较之前SOTA提升超过3.5分。

ABSTRACT

Neural networks with attention have proven effective for many natural language processing tasks. In this paper, we develop attention mechanisms for uncertainty detection. In particular, we generalize standardly used attention mechanisms by introducing external attention and sequence-preserving attention. These novel architectures differ from standard approaches in that they use external resources to compute attention weights and preserve sequence information. We compare them to other configurations along different dimensions of attention. Our novel architectures set the new state of the art on a Wikipedia benchmark dataset and perform similar to the state-of-the-art model on a biomedical benchmark which uses a large set of linguistic features.

研究动机与目标

• 为解决在文本中检测不确定（非事实性）信息的挑战，例如推测、观点或模糊性。
• 将神经网络注意力机制的设计空间从标准的内部加权、与序列无关的方法中拓展出来。
• 评估不同注意力维度——源信息、加权方式以及序列保持——对不确定性检测性能的影响。
• 首次将卷积神经网络与循环神经网络结合新颖的注意力机制，应用于不确定性检测任务。
• 在CoNLL2010 Wikipedia基准上建立新的SOTA，并在生物医学数据集上展示优异性能。

提出的方法

• 提出外部注意力机制，其中注意力权重基于预定义的不确定性提示短语词典计算，而非网络内部表示。
• 引入序列保持注意力机制，在注意力计算过程中保持输入词元的相对顺序，与标准加权平均注意力不同。
• 将注意力机制集成到卷积神经网络（CNNs）和循环神经网络（RNNs）中，用于序列分类任务。
• 使用前馈层计算注意力分数，注意力权重由外部提示词典导出，以引导模型聚焦于不确定性指示符。
• 采用多层架构，结合卷积或循环编码与注意力机制，随后接分类头实现二元不确定性预测。
• 在不同注意力配置下开展广泛的消融研究，包括内部与外部注意力、加权与非加权、与序列无关及序列保持的选择。

实验结果

研究问题

• RQ1 与标准内部注意力相比，使用预定义不确定性提示词典的外部注意力机制在不确定性检测中的性能表现如何？
• RQ2 在注意力计算过程中保持序列顺序在多大程度上能提升不确定性检测任务的性能？
• RQ3 不同注意力配置（加权与非加权、内部与外部、与序列无关与序列保持）如何影响模型在多样化NLP任务中的性能表现？
• RQ4 结合新颖注意力机制的卷积神经网络与循环神经网络能否在不确定性检测基准上实现SOTA结果？
• RQ5 所提出的注意力机制在Wikipedia基准之外的泛化能力如何，特别是在更复杂的生物医学数据集上？

主要发现

• 所提出的外部注意力机制通过引导模型聚焦于已知的不确定性提示，显著提升性能，在Wikipedia基准上实现超过3.5 F1分的提升。
• 序列保持注意力机制有助于维持关键的句法与语义顺序，从而更准确地区分如“it is not uncertain that X is Basque”与“it is uncertain that X is not Basque”等句子。
• 采用外部注意力的CNN在CoNLL2010 Wikipedia基准上达到新的SOTA，其F1分数较之前SOTA模型高出超过3.5分。
• 该模型在生物医学基准上表现具有竞争力，性能与依赖大量语言学特征的SOTA系统相当。
• 消融研究证实，外部注意力与序列保持是性能提升的关键因素，其中外部注意力带来的增益最为显著。
• 代码与模型已公开发布，以支持不确定性检测及注意力机制设计的可复现性与未来研究。