[论文解读] Attentive Convolution

Wenpeng Yin, Hinrich Schütze|arXiv (Cornell University)|Oct 2, 2017

Topic Modeling被引用 10

一句话总结

本文提出ATTCONV，一种新颖的注意力卷积网络，将注意力机制直接整合到卷积操作中，通过来自远距离或外部文本的非局部上下文扩展局部感受野。通过将注意力与卷积融合而非与池化结合，ATTCONV在零、单和多上下文NLP任务中均实现了优于注意力池化和竞争性RNN模型的句子表征学习效果。

ABSTRACT

In NLP, convolutional neural networks (CNNs) have benefited less than recurrent neural networks (RNNs) from attention mechanisms. We hypothesize that this is because the attention in CNNs has been mainly implemented as attentive pooling (i.e., it is applied to pooling) rather than as attentive convolution (i.e., it is integrated into convolution). Convolution is the differentiator of CNNs in that it can powerfully model the higher-level representation of a word by taking into account its local fixed-size context in the input text t^x. In this work, we propose an attentive convolution network, ATTCONV. It extends the context scope of the convolution operation, deriving higher-level features for a word not only from local context, but also information extracted from nonlocal context by the attention mechanism commonly used in RNNs. This nonlocal context can come (i) from parts of the input text t^x that are distant or (ii) from extra (i.e., external) contexts t^y. Experiments on sentence modeling with zero-context (sentiment analysis), single-context (textual entailment) and multiple-context (claim verification) demonstrate the effectiveness of ATTCONV in sentence representation learning with the incorporation of context. In particular, attentive convolution outperforms attentive pooling and is a strong competitor to popular attentive RNNs.

研究动机与目标

• 为解决注意力机制在CNN中的有效性低于RNN的问题。
• 探究是否将注意力直接整合到卷积操作中（而非在卷积后应用）能提升表征学习效果。
• 通过注意力机制引入非局部信息，将CNN的上下文范围扩展至局部感受野之外。
• 评估ATTCONV在涉及零、单和多上下文的多样化NLP任务中的性能表现。
• 证明注意力卷积可与或优于注意力池化和注意力RNN在句子建模中的表现。

提出的方法

• ATTCONV用一种注意力卷积机制替代标准卷积，该机制通过从输入标记中提取的查询、键和值向量计算加权特征。
• 注意力机制在远距离或外部文本上计算上下文感知权重，使模型在特征提取过程中能够关注非局部信息。
• 该模型将这些注意力增强的特征整合到卷积操作中，实现超越固定大小局部窗口的动态上下文扩展。
• 其支持多种上下文类型：零上下文（如情感分析）、单上下文（如文本蕴涵）和多上下文（如主张验证）。
• 该架构在保持CNN对局部模式学习的归纳偏置的同时，通过注意力机制增强了全局上下文感知能力。
• 该方法在具有不同上下文可用性的句子建模任务上进行了端到端评估。

实验结果

研究问题

• RQ1 将注意力直接整合到卷积操作中是否能提升CNN中的句子表征学习？
• RQ2 注意力卷积在建模句子级表征方面与注意力池化相比表现如何？
• RQ3 ATTCONV在不同上下文可用性任务中是否优于或可与注意力增强的RNN相媲美？
• RQ4 ATTCONV能否有效利用非局部或外部上下文，以提升零、单和多上下文NLP任务的性能？
• RQ5 来自远距离或外部源的非局部上下文对ATTCONV最终表征的贡献是什么？

主要发现

• ATTCONV在所有评估任务中均优于注意力池化，证明将注意力整合到卷积中而非卷积后应用更具优势。
• 该模型在与最先进注意力RNN相比表现具有竞争力，尤其在需要长距离或外部上下文整合的任务中表现更优。
• 在涉及多上下文的主张验证任务中，ATTCONV能有效利用外部证据，展现出在复杂推理场景中的鲁棒性。
• 通过注意力机制引入非局部上下文显著提升了表征质量，尤其在零上下文和单上下文设置中效果明显。
• ATTCONV在保持CNN对局部模式检测的归纳偏置的同时，通过注意力机制扩展了其上下文范围，从而提升了泛化能力。
• 消融实验确认，注意力卷积机制是性能提升的关键因素，而不仅仅是卷积后应用注意力的结果。