[论文解读] Learning Context-Sensitive Convolutional Filters for Text Processing

Dinghan Shen, Martin Renqiang Min+2 more|arXiv (Cornell University)|Sep 25, 2017

Topic Modeling参考文献 30被引用 4

一句话总结

本文提出自适应上下文感知卷积神经网络（ACNN），一种新颖的框架，通过元网络为每个输入句子生成上下文感知的卷积滤波器，实现动态、输入感知的特征提取。该方法在四个自然语言处理任务——本体分类、情感分析、答案句子选择和释义识别中，持续优于标准卷积神经网络和注意力增强的卷积神经网络，通过自适应滤波器生成与双向句子对建模，显著提升了建模灵活性与性能。

ABSTRACT

Convolutional neural networks (CNNs) have recently emerged as a popular building block for natural language processing (NLP). Despite their success, most existing CNN models employed in NLP share the same learned (and static) set of filters for all input sentences. In this paper, we consider an approach of using a small meta network to learn context-sensitive convolutional filters for text processing. The role of meta network is to abstract the contextual information of a sentence or document into a set of input-aware filters. We further generalize this framework to model sentence pairs, where a bidirectional filter generation mechanism is introduced to encapsulate co-dependent sentence representations. In our benchmarks on four different tasks, including ontology classification, sentiment analysis, answer sentence selection, and paraphrase identification, our proposed model, a modified CNN with context-sensitive filters, consistently outperforms the standard CNN and attention-based CNN baselines. By visualizing the learned context-sensitive filters, we further validate and rationalize the effectiveness of proposed framework.

研究动机与目标

• 解决标准卷积神经网络在自然语言处理中静态、固定卷积滤波器的局限性，后者无法捕捉上下文相关的语义变化。
• 通过学习输入感知的滤波器，使其能够适应每个句子的上下文内容，从而增强建模灵活性。
• 通过引入双向滤波器生成机制，将框架推广至句子对匹配任务，以捕捉相互依赖的表示。
• 通过实验基准测试与学习滤波器的可视化，验证上下文感知滤波器的有效性。

提出的方法

• 训练一个元网络，以输入句子的上下文表示为条件，生成一组卷积滤波器。
• 将生成的滤波器应用于输入嵌入矩阵，使滤波器权重随输入变化，实现上下文感知的特征抽象。
• 在句子对建模中，引入双向滤波器生成机制，联合生成两个句子的滤波器，以捕捉相互依赖的表示。
• 将该框架集成至卷积神经网络架构中，并在多个自然语言处理任务上进行评估，消融实验验证了自适应机制的贡献。
• 在部分实验中进一步引入多视角注意力层，以评估其与注意力机制的互补性。
• 通过t-SNE可视化滤波器，分析学习到的滤波器并验证其按标签聚类，表明模型学习到了任务特定的特征。

实验结果

研究问题

• RQ1 与具有固定滤波器的标准卷积神经网络相比，上下文感知卷积滤波器是否能提升自然语言处理任务的性能？
• RQ2 基于元网络的滤波器生成机制如何以上下文感知的方式增强特征抽象能力？
• RQ3 用于句子对的双向滤波器生成机制是否能提升文本匹配任务的性能？
• RQ4 该框架在复杂问题类型（如'How'问题）上的推理能力提升程度如何？
• RQ5 学习到的滤波器是否可被有意义地可视化，以证明其对输入上下文与标签结构的敏感性？

主要发现

• ACNN模型在所有四项评估任务——本体分类、情感分析、答案句子选择和释义识别中，均优于标准卷积神经网络和注意力增强的卷积神经网络基线模型。
• 在WikiQA数据集上，双路AdaQA模型的MAP得分为0.8516，显著优于Siamese-CNN基线（0.7960）和Multi-Perspective-CNN（0.8138）。
• 当与多视角注意力结合时，双路AdaQA模型在WikiQA上的MAP得分为0.8794，进一步提升了性能。
• 在Quora问题对数据集上，AdaQA模型的表现优于注意力池化网络和ABCNN基线，证实其在句子匹配任务中的有效性。
• 在'How'问题上，该模型相对于标准卷积神经网络的相对提升最大，MAP得分为0.579，优于NASM（0.524），表明其具备更强的推理能力。
• t-SNE滤波器可视化显示，同一本体标签文档的滤波器聚类在一起，验证了模型学习到了标签特定的、上下文感知的特征。