[论文解读] ABCNN: Attention-Based Convolutional Neural Network for Modeling Sentence Pairs

Wenpeng Yin, Hinrich Schütze+2 more|arXiv (Cornell University)|Dec 16, 2015

Topic Modeling参考文献 52被引用 56

一句话总结

该论文提出ABCNN，一种基于注意力机制的卷积神经网络，通过在多个粒度层级上整合句子之间的相互注意力来建模句子对。通过在CNN架构中应用注意力机制，ABCNN捕捉到相互依赖的表示，其性能优于孤立的句子建模方法，在答案选择、释义识别和文本蕴涵任务上均达到最先进水平，且无需依赖特定任务的语言学特征。

ABSTRACT

How to model a pair of sentences is a critical issue in many NLP tasks such as answer selection (AS), paraphrase identification (PI) and textual entailment (TE). Most prior work (i) deals with one individual task by fine-tuning a specific system; (ii) models each sentence's representation separately, rarely considering the impact of the other sentence; or (iii) relies fully on manually designed, task-specific linguistic features. This work presents a general Attention Based Convolutional Neural Network (ABCNN) for modeling a pair of sentences. We make three contributions. (i) ABCNN can be applied to a wide variety of tasks that require modeling of sentence pairs. (ii) We propose three attention schemes that integrate mutual influence between sentences into CNN; thus, the representation of each sentence takes into consideration its counterpart. These interdependent sentence pair representations are more powerful than isolated sentence representations. (iii) ABCNN achieves state-of-the-art performance on AS, PI and TE tasks.

研究动机与目标

• 开发一种适用于多种自然语言处理任务的通用深度学习架构，用于建模句子对。
• 解决先前模型将句子孤立处理的局限性，通过引入句子对之间的相互注意力机制。
• 自动学习词和短语层级的相关句子对齐，而无需依赖人工设计的语言学特征。
• 提升在答案选择、释义识别和文本蕴涵等句子对任务上的性能。
• 证明注意力机制可有效集成到CNN中用于序列建模，类似于其在RNN中的成功应用。

提出的方法

• ABCNN采用多层级注意力机制，计算两个句子中词和短语之间的注意力得分，使每个句子的表示受另一句子的影响。
• 该模型使用三种注意力方案：词级注意力、通过卷积滤波器实现的短语级注意力，以及多层卷积网络之间的层次注意力。
• 不同卷积核宽度的卷积层提取局部特征，并在每一层应用注意力机制，以聚焦于另一句子中语义相关的部分。
• 注意力机制是可微分的，支持端到端训练，使网络能够从数据中自动学习对齐模式。
• 多个卷积层（ABCNN-1、ABCNN-2、ABCNN-3）堆叠，以捕捉越来越抽象的表示，并在高层级应用注意力机制。
• 可选择性地集成命名实体和词性标注等语言学特征，以进一步提升性能。

实验结果

研究问题

• RQ1 基于注意力机制的CNN能否通过捕捉句子之间的相互依赖关系，有效建模句子对？
• RQ2 与标准CNN相比，将注意力机制集成到CNN中是否能提升句子对分类任务的性能？
• RQ3 ABCNN能否在答案选择、释义识别和文本蕴涵等多样化NLP任务上实现泛化？
• RQ4 与依赖特定任务特征或复杂架构的最先进模型相比，ABCNN的性能如何？
• RQ5 语言学特征在多大程度上提升了ABCNN的性能？ABCNN在不使用这些特征的情况下是否仍能达到最先进水平？

主要发现

• ABCNN在答案选择（AS）和文本蕴涵（TE）任务上实现了最先进性能，且未使用任何手工设计的语言学特征。
• 在SICK数据集上，ABCNN-2在文本蕴涵任务上达到91.8%的准确率，优于先前方法。
• 在释义识别任务中，ABCNN在准确率上比基线模型提升3.8%，F1分数提升2.1%。
• ABCNN-2在所有三项任务中均持续优于ABCNN-1和ABCNN-3，表明该深度在给定数据规模下为最优。
• 注意力可视化结果表明，ABCNN学习到了有意义的对齐：语义等价的词和短语（如“walking”和“are walking outside”）获得了较高的注意力得分。
• 该模型能够检测句子间的指代关系，例如在不同句子中匹配“it”和“building”，表明其具备隐式跨句指代消解能力。