[论文解读] Learning Context-Aware Convolutional Filters for Text Processing

Dinghan Shen, Martin Renqiang Min+2 more|arXiv (Cornell University)|Sep 25, 2017

Topic Modeling被引用 2

一句话总结

本文通过使用元网络生成针对输入的卷积核，提出了一种上下文感知的卷积核用于文本处理，使卷积核能够根据句子上下文自适应调整，从而在四个自然语言处理任务中提升性能。该方法在标准卷积神经网络和基于注意力的卷积神经网络上均表现更优，可视化结果证实卷积核学习到了有意义且与上下文相关的表征。

ABSTRACT

Convolutional neural networks (CNNs) have recently emerged as a popular building block for natural language processing (NLP). Despite their success, most existing CNN models employed in NLP share the same learned (and static) set of filters for all input sentences. In this paper, we consider an approach of using a small meta network to learn context-sensitive convolutional filters for text processing. The role of meta network is to abstract the contextual information of a sentence or document into a set of input-aware filters. We further generalize this framework to model sentence pairs, where a bidirectional filter generation mechanism is introduced to encapsulate co-dependent sentence representations. In our benchmarks on four different tasks, including ontology classification, sentiment analysis, answer sentence selection, and paraphrase identification, our proposed model, a modified CNN with context-sensitive filters, consistently outperforms the standard CNN and attention-based CNN baselines. By visualizing the learned context-sensitive filters, we further validate and rationalize the effectiveness of proposed framework.

研究动机与目标

• 为解决标准卷积神经网络在自然语言处理中静态共享卷积核的局限性，此类卷积核无法根据句子特定上下文进行自适应调整。
• 开发一种基于输入上下文动态生成卷积核的机制，以实现更具表现力和适应性的文本表征。
• 将该框架扩展至句子对建模，通过引入双向卷积核生成机制，实现对依赖关系的联合表征。
• 在包括分类和匹配任务在内的多种自然语言处理任务中，评估上下文敏感卷积核的有效性。

提出的方法

• 训练一个元网络，以根据输入句子或文档生成特定的卷积核，输入为上下文嵌入表示。
• 元网络接收句子的上下文表征，并输出一组根据输入动态调整的卷积核权重。
• 在句子对建模中，引入双向卷积核生成机制，使得每个句子的卷积核生成依赖于另一句子的表征。
• 将这些上下文敏感的卷积核整合到修改后的卷积神经网络架构中，用动态、输入感知的卷积核替代标准的固定卷积核。
• 使用标准自然语言处理损失函数进行端到端训练，元网络学习生成能提升下游任务性能的卷积核。
• 通过卷积核可视化分析，验证所学习到的上下文敏感卷积核的可解释性与有效性。

实验结果

研究问题

• RQ1 在自然语言处理任务中，动态生成的、上下文敏感的卷积核是否能优于静态卷积核？
• RQ2 元网络基于输入上下文生成卷积核的能力，如何增强文本处理中的表征学习？
• RQ3 针对句子对的双向卷积核生成机制是否能更好地建模句子间的依赖关系？
• RQ4 与标准卷积神经网络和基于注意力的卷积神经网络相比，上下文敏感卷积核在多类自然语言处理任务中的泛化能力如何？

主要发现

• 所提出的采用上下文敏感卷积核的模型，在四个基准任务中持续优于标准卷积神经网络和基于注意力的卷积神经网络基线模型。
• 在本体分类、情感分析、答案句子选择和释义识别任务中，模型取得了最先进或具有竞争力的性能表现。
• 对学习到的卷积核进行可视化后发现，其能有意义地适应不同输入上下文，支持模型的可解释性与设计合理性。
• 双向卷积核生成机制有效捕捉了句子对之间的依赖关系表征，提升了匹配类任务的性能。
• 利用元网络生成卷积核，相比固定卷积核，能实现更具表现力和上下文相关性的特征提取。
• 该框架在多种自然语言处理任务中展现出良好的泛化能力，表明其具有广泛的应用潜力，而不仅限于特定领域。