[论文解读] A Study of MatchPyramid Models on Ad-hoc Retrieval

Liang Pang, Yanyan Lan+3 more|arXiv (Cornell University)|Jun 15, 2016

Topic Modeling参考文献 11被引用 84

一句话总结

该论文将原本为文本匹配任务设计的MatchPyramid深度学习模型应用于即时检索任务，结果表明：通过优化超参数（如小卷积核尺寸、段落长度池化和高斯相似度函数），该模型显著优于其他深度匹配模型，但在标准TREC基准测试中仍逊于BM25和语言模型等传统检索模型。

ABSTRACT

Deep neural networks have been successfully applied to many text matching tasks, such as paraphrase identification, question answering, and machine translation. Although ad-hoc retrieval can also be formalized as a text matching task, few deep models have been tested on it. In this paper, we study a state-of-the-art deep matching model, namely MatchPyramid, on the ad-hoc retrieval task. The MatchPyramid model employs a convolutional neural network over the interactions between query and document to produce the matching score. We conducted extensive experiments to study the impact of different pooling sizes, interaction functions and kernel sizes on the retrieval performance. Finally, we show that the MatchPyramid models can significantly outperform several recently introduced deep matching models on the retrieval task, but still cannot compete with the traditional retrieval models, such as BM25 and language models.

研究动机与目标

• 探究深度匹配模型（尤其是MatchPyramid）在即时检索任务中的适用性。
• 识别影响检索性能的关键超参数，如卷积核大小、池化策略和交互函数。
• 在标准即时检索基准上，将MatchPyramid的性能与基于深度学习的模型及传统检索模型进行比较。
• 理解为何深度匹配模型在即时检索中表现不如BM25和语言模型等经典模型。

提出的方法

• MatchPyramid通过使用指示函数、余弦相似度、点积和高斯核等多种函数，计算查询与文档之间的词级相似度，构建匹配矩阵。
• 将匹配矩阵视为特征图，并通过具有多种卷积核尺寸和动态池化层的分层卷积神经网络进行处理。
• 通过按文档段落长度进行池化，以保留结构上下文并提升信号保留能力。
• 使用包含128个隐藏单元的多层感知机，将高层特征聚合为最终的匹配得分以用于排序。
• 在TREC Robust04数据集上使用标准指标（MAP、nDCG@20和P@20）进行模型训练与评估。
• 通过广泛的消融实验，改变卷积核大小（1×n和n×n）、池化大小和交互函数，以隔离各因素对性能的影响。

实验结果

研究问题

• RQ1 不同交互函数（如指示函数、余弦相似度、点积、高斯函数）如何影响MatchPyramid在即时检索中的性能？
• RQ2 在应用于检索任务时，MatchPyramid卷积层的最佳卷积核尺寸是什么？
• RQ3 按段落长度池化与全局池化相比，能否更有效地提升检索效果？
• RQ4 为何深度匹配模型（如MatchPyramid）在即时检索中表现不如传统模型（如BM25和语言模型）？

主要发现

• MP-Gau使用1×3卷积核尺寸时表现最佳，在TREC Robust04数据集上取得MAP为0.232、nDCG@20为0.411、P@20为0.327的性能。
• 按段落长度进行池化显著提升了检索性能，通过保留文档结构和局部上下文信息。
• 高斯核函数优于其他相似度函数，能更有效地区分精确匹配与语义匹配。
• 在最优设置下，MatchPyramid优于所有测试的深度匹配模型（包括DSSM、CDSSM、ARC-I和ARC-II），但仍落后于BM25和QL模型。
• 当使用高斯等语义相似度函数时，模型性能对卷积核尺寸较为敏感；而使用稀疏指示函数时则不那么敏感。
• 尽管在深度模型中表现优异，MatchPyramid仍无法达到传统检索模型的有效性水平，表明即时检索与其它文本匹配任务在建模需求上存在根本性差异。