[论文解读] Adaptive Convolutional Filter Generation for Natural Language Understanding.

Dinghan Shen, Martin Renqiang Min+2 more|arXiv (Cornell University)|Sep 25, 2017

Topic Modeling被引用 9

一句话总结

本文提出了一种用于自然语言理解的自适应卷积核生成框架，其中元网络动态生成与输入相关的卷积核，从而在静态卷积核之外提升了表征表达能力。该方法通过双向特征抽象机制建模句子间的相互依赖关系，在文档分类和答案句子选择任务上实现了最先进性能。

ABSTRACT

Convolutional neural networks (CNNs) have recently emerged as a popular building block for natural language processing (NLP). Despite their success, most existing CNN models employed in NLP are not expressive enough, in the sense that all input sentences share the same learned (and static) set of filters. Motivated by this problem, we propose an adaptive convolutional filter generation framework for natural language understanding, by leveraging a meta network to generate input-aware filters. We further generalize our framework to model question-answer sentence pairs and propose an adaptive question answering (AdaQA) model; a novel two-way feature abstraction mechanism is introduced to encapsulate co-dependent sentence representations. We investigate the effectiveness of our framework on document categorization and answer sentence-selection tasks, achieving state-of-the-art performance on several benchmark datasets.

研究动机与目标

• 解决现有NLP CNN模型中静态共享卷积核的局限性，后者限制了表征表达能力。
• 通过引入元网络实现输入感知的滤波器生成，使滤波器能够针对单个输入句子进行定制。
• 通过双向特征抽象机制，将该框架扩展至建模问题-答案对之间的共依赖表征。
• 提升在文档分类和答案句子选择等自然语言理解任务上的性能。
• 通过自适应滤波提升模型表达能力，在基准数据集上实现最先进结果。

提出的方法

• 使用元网络为每个输入句子生成特定的卷积核，实现动态适应，而非使用固定滤波器。
• 将元网络集成到CNN架构中，实现在前向传播过程中生成依赖于输入的滤波器权重。
• 设计一种双向特征抽象机制，联合建模问题和答案的表征，捕捉其共依赖关系。
• 使用标准反向传播进行端到端训练，元网络学习根据输入上下文生成滤波器。
• 利用自适应滤波器从文本序列中提取更具判别性的特征，提升下游任务性能。
• 通过将双向抽象机制适配用于建模句间关系，将该框架推广至问答任务。

实验结果

研究问题

• RQ1 与静态滤波器相比，动态的、输入感知的卷积核是否能提升CNN在NLP中的表征能力？
• RQ2 自适应滤波器生成对文档分类和句子选择任务的性能有何影响？
• RQ3 双向特征抽象机制在多大程度上能增强问题-答案对之间的共依赖建模？
• RQ4 所提出的框架是否在标准NLP基准上实现了最先进性能？
• RQ5 元网络能否有效生成在多样化输入句子上泛化良好且保持任务特异性表达能力的滤波器？

主要发现

• 所提出的自适应滤波器生成框架在多个文档分类基准数据集上实现了最先进性能。
• 通过利用输入特定的滤波器，该模型在答案句子选择任务上优于现有的基于CNN的方法。
• 双向特征抽象机制有效捕捉了问题与答案之间的共依赖表征，提升了推理能力。
• 使用元网络生成滤波器相比静态滤波器学习，能实现更具表达性和上下文敏感的特征提取。
• 实证结果表明，该方法在多个NLP任务中均表现出一致的性能提升，验证了自适应滤波的有效性。
• 该框架在单句理解和成对句子理解任务上均表现出良好的泛化能力，显示出广泛适用性。