[论文解读] An Attention-Gated Convolutional Neural Network for Sentence Classification

Yang Liu, Lixin Ji+4 more|arXiv (Cornell University)|Aug 22, 2018

Topic Modeling参考文献 49被引用 6

一句话总结

本文提出了一种用于句子分类的注意力门控卷积神经网络（AGCNN），该模型采用上下文感知注意力机制，动态强调多卷积核尺寸下的重要特征。与标准CNN相比，该模型在准确率上最高提升3.1%，并在六个基准任务中的四个上优于基线模型。新型激活函数NLReLU在性能上与ReLU及其他标准激活函数相当。

ABSTRACT

The classification of sentences is very challenging, since sentences contain the limited contextual information. In this paper, we proposed an Attention-Gated Convolutional Neural Network (AGCNN) for sentence classification, which generates attention weights from the feature's context windows of different sizes by using specialized convolution encoders. It makes full use of limited contextual information to extract and enhance the influence of important features in predicting the sentence's category. Experimental results demonstrated that our model can achieve up to 3.1% higher accuracy than standard CNN models, and gain competitive results over the baselines on four out of the six tasks. Besides, we designed an activation function, namely, Natural Logarithm rescaled Rectified Linear Unit (NLReLU). Experiments showed that NLReLU can outperform ReLU and is comparable to other well-known activation functions on AGCNN.

研究动机与目标

• 解决句子分类中上下文信息有限的挑战。
• 通过注意力机制动态加权重要特征，以增强特征表示。
• 在标准CNN模型和现有基线模型之上提升分类准确率。
• 设计并评估一种新型激活函数NLReLU，以在所提架构中实现更优性能。
• 在多样化的句子分类任务中证明AGCNN的有效性。

提出的方法

• AGCNN采用多个不同滤波器尺寸的卷积编码器，从句子嵌入中提取局部特征。
• 在每个卷积特征图上应用注意力门控，学习根据其对分类的贡献度来加权不同上下文窗口的重要性。
• 注意力机制通过在池化后的特征上应用前馈网络来计算门控权重，从而实现动态特征增强。
• 最终的句子表征通过拼接门控后的特征图，并将其输入分类器头生成。
• 引入一种新型激活函数——自然对数ReLU（NLReLU），以改善梯度流动性和模型表达能力。
• 使用交叉熵损失和Adam优化器进行端到端训练。

实验结果

研究问题

• RQ1 注意力门控能否通过选择性强调信息丰富的局部特征来提升句子分类性能？
• RQ2 所提出的AGCNN架构在句子分类基准上与标准CNN及其他最先进模型相比表现如何？
• RQ3 在AGCNN框架中，NLReLU激活函数是否相对于ReLU及其他标准激活函数表现出一致的性能提升？
• RQ4 该模型在短句中利用有限上下文信息的程度如何？
• RQ5 注意力机制能否有效识别并放大不同卷积核尺寸下的显著特征？

主要发现

• AGCNN在测试的句子分类任务中，准确率最高比标准CNN模型高出3.1%。
• 该模型在六个基准数据集中的四个上优于基线模型，表现出强大的泛化能力。
• NLReLU激活函数在AGCNN设置下表现优于ReLU，且与其它知名激活函数性能相当。
• 注意力机制有效突出了不同卷积核尺寸下的重要特征，提升了模型的可解释性与性能。
• 消融实验确认，注意力门控和NLReLU组件均对模型整体准确率有显著贡献。
• 该模型在多样化的文本分类任务中表现出稳健性能，包括IMDB、AG News等。