[论文解读] Convolutional Neural Network Architectures for Matching Natural Language Sentences

Baotian Hu, Zhengdong Lu+2 more|arXiv (Cornell University)|Mar 11, 2015

Topic Modeling参考文献 28被引用 970

一句话总结

本论文提出了一种新颖的卷积神经网络（CNN）架构——Arc-I 和 Arc-II，通过联合建模层次化句子结构与跨句匹配模式，实现自然语言句子的匹配。这些模型采用多级卷积与池化操作，捕捉局部与全局语义交互，在多个句子匹配任务（包括释义识别与响应匹配）中取得最先进性能，其中 Arc-II 在大规模数据集上的表现显著优于基线模型。

ABSTRACT

Semantic matching is of central importance to many natural language tasks \cite{bordes2014semantic,RetrievalQA}. A successful matching algorithm needs to adequately model the internal structures of language objects and the interaction between them. As a step toward this goal, we propose convolutional neural network models for matching two sentences, by adapting the convolutional strategy in vision and speech. The proposed models not only nicely represent the hierarchical structures of sentences with their layer-by-layer composition and pooling, but also capture the rich matching patterns at different levels. Our models are rather generic, requiring no prior knowledge on language, and can hence be applied to matching tasks of different nature and in different languages. The empirical study on a variety of matching tasks demonstrates the efficacy of the proposed model on a variety of matching tasks and its superiority to competitor models.

研究动机与目标

• 开发一种无需依赖语言学先验知识的通用深度学习框架，用于句子匹配。
• 通过统一的卷积架构，联合建模层次化句子构成与跨句匹配模式。
• 在不同数据规模与语言复杂度的多样化匹配任务中，评估所提模型的有效性。
• 探究局部与全局匹配模式在句子相似性建模中的作用。
• 证明基于CNN的架构在句子匹配任务中优于传统词袋模型与RNN-based模型。

提出的方法

• 模型采用具有共享权重滤波器与ReLU激活函数的深度卷积架构，通过固定大小的滑动窗口处理词嵌入。
• 在每个卷积层后应用最大池化操作，以降低维度并过滤不相关的词组合，从而在可变长度句子中实现鲁棒表示。
• 该架构支持层次化组合：低层捕获局部n-gram模式，深层通过堆叠与池化逐步构建更抽象的表示。
• Arc-II 通过在匹配特征图上引入第二层卷积，扩展了该设计，从而更丰富地建模句子对之间的交互模式。
• 通过在最后一层卷积层上进行全局最大池化，获得最终的句子表示，生成用于匹配的固定长度向量。
• 模型采用随机梯度下降进行端到端训练，配合早停策略，并使用基于边距的排序损失函数进行成对匹配。

实验结果

研究问题

• RQ1 统一的CNN架构能否有效建模层次化句子构成与跨句匹配模式？
• RQ2 所提出的CNN模型在多样化句子匹配任务中的性能与现有方法相比如何？
• RQ3 在大规模数据集上，引入更深的匹配层（如Arc-II中）是否显著提升性能？
• RQ4 模型在不依赖句法树等语言学先验知识的情况下，能否学习到有意义的句子表示？
• RQ5 与全局结构对齐相比，局部匹配模式（如同义、释义）对模型性能的影响有多大？

主要发现

• Arc-II 在所有任务中均取得最高性能，在 MSRP 释义识别基准上达到 69.9% 的准确率与 80.91% 的 F1 分数，显著优于所有基线模型。
• 在响应匹配任务中，Arc-II 达到 75.8% 的准确率，显著超过次佳模型（72.4%），在对话应用中展现出强大的泛化能力。
• 在机器翻译任务的 top-k 重排序中，Arc-II 达到 74.2% 的准确率，大幅超越第二名模型。
• 模型对可变长度句子表现出强鲁棒性，通过最大池化与层次化组合有效处理长度多样的输入。
• 即使采用随机负采样，Arc-I 与 Arc-II 在检测句子中正确词序方面仍达到约 60% 的准确率，表明其隐式学习了序列结构。
• 使用 Word2Vec 嵌入并结合简单求和操作即获得具有竞争力的结果，表明分布式词表示本身已隐含组合语义信息。