[论文解读] A Compare-Aggregate Model for Matching Text Sequences

Shuohang Wang, Jing Jiang|arXiv (Cornell University)|Nov 6, 2016

Topic Modeling被引用 58

一句话总结

本文提出了一种通用的“比较-聚合”神经网络框架，用于匹配文本序列，其中通过各种函数（例如逐元素减法和乘法）比较两个序列的词级表示，随后通过卷积神经网络（CNN）进行聚合。关键发现是，简单且无参数的逐元素操作通常优于标准神经网络和张量网络，在包括 MovieQA、InsuranceQA、WikiQA 和 SNLI 在内的四个不同自然语言处理数据集上实现了最先进或极具竞争力的性能。

ABSTRACT

Many NLP tasks including machine comprehension, answer selection and text entailment require the comparison between sequences. Matching the important units between sequences is a key to solve these problems. In this paper, we present a general "compare-aggregate" framework that performs word-level matching followed by aggregation using Convolutional Neural Networks. We particularly focus on the different comparison functions we can use to match two vectors. We use four different datasets to evaluate the model. We find that some simple comparison functions based on element-wise operations can work better than standard neural network and neural tensor network.

研究动机与目标

• 评估“比较-聚合”框架在多样化自然语言处理序列匹配任务中的泛化能力。
• 系统性地分析和比较用于匹配文本序列的不同词级比较函数。
• 确定简单、非参数化的比较函数是否能在序列匹配中超越复杂的基于神经网络的函数。
• 在多个基准数据集（包括问答和文本蕴含）上展示所提模型的有效性。
• 提供开源代码以支持可复现性及未来研究。

提出的方法

• 首先使用预训练的词向量将每个序列编码为词级嵌入表示。
• 对两个序列中对应词对应用多种比较函数，例如逐元素减法、乘法以及距离/相似度度量。
• 将得到的比较向量通过卷积神经网络（CNN）以捕捉局部模式和依赖关系。
• 将CNN的特征进行池化后，输入全连接层并结合逻辑回归进行最终分类。
• 使用四个数据集（MovieQA、InsuranceQA、WikiQA 和 SNLI）对框架进行评估，涵盖问答和文本蕴含任务。
• 消融实验比较了六种不同的比较函数，包括神经网络、神经张量网络和逐元素操作。

实验结果

研究问题

• RQ1 “比较-聚合”框架是否能在诸如问答和文本蕴含等多样化自然语言处理任务中有效泛化？
• RQ2 在序列匹配中，词级比较函数（神经网络、神经张量网络或逐元素操作）中哪一种性能最佳？
• RQ3 像逐元素减法和乘法这样的简单、无参数比较函数是否优于更复杂的可训练函数？
• RQ4 该模型在多个基准数据集上的性能与最先进基线相比如何？
• RQ5 从模型卷积层的注意力模式可视化中可以获得哪些洞察？

主要发现

• “比较-聚合”框架在四个多样化数据集（MovieQA、InsuranceQA、WikiQA 和 SNLI）上均实现了最先进或极具竞争力的性能。
• 比较函数 SubMult+NN（逐元素减法和乘法）在所有数据集上均取得了最佳整体性能。
• 简单且非参数化的比较函数，如 EucCos（欧氏距离与余弦相似度）和逐元素操作，分别在 MovieQA 和 WikiQA 上几乎达到最佳性能。
• 无论使用何种比较函数，该模型在 InsuranceQA 数据集上的表现均优于所有先前基线。
• 对卷积层的可视化显示，模型聚焦于问题、答案和文本之间语义匹配的词对，表明其能有效关注相关内容。
• 结果表明，逐元素操作不仅更简单，而且在序列匹配任务的词级匹配中比复杂神经网络更有效。