[论文解读] M$^2$S-Net: Multi-Modal Similarity Metric Learning based Deep Convolutional Network for Answer Selection

Lingxun Meng, Yan Li|arXiv (Cornell University)|Apr 19, 2016

Topic Modeling参考文献 27被引用 5

一句话总结

该论文提出 M$^2$S-Net，一种深度卷积网络，通过多模态相似度度量学习直接建模问题与答案句子之间的成对标记匹配，以捕捉细粒度的词汇交互。该模型在 TREC-QA 基准上实现了最先进性能，通过端到端训练与可学习相似度度量及深层网络结构的优势，在 MAP 和 MRR 指标上均比之前的方法提升 1%。

ABSTRACT

Recent works using artificial neural networks based on distributed word representation greatly boost performance on various natural language processing tasks, especially the answer selection problem. Nevertheless, most of the previous works used deep learning methods (like LSTM-RNN, CNN, etc.) only to capture semantic representation of each sentence separately, without considering the interdependence between each other. In this paper, we propose a novel end-to-end learning framework which constitutes deep convolutional neural network based on multi-modal similarity metric learning (M$^2$S-Net) on pairwise tokens. The proposed model demonstrates its performance by surpassing previous state-of-the-art systems on the answer selection benchmark, i.e., TREC-QA dataset, in both MAP and MRR metrics.

研究动机与目标

• 为解决先前方法独立建模问题与答案句子、忽略词汇层面相互依赖的局限性。
• 通过使用深度卷积网络显式建模词汇层面的成对标记匹配，以提升答案选择性能。
• 通过引入可学习的多模态相似度度量，提升词汇匹配粒度，以捕捉多义性与上下文细微差别。
• 证明深层网络结构与多模态相似度学习相比浅层或单度量基线，能显著提升性能。
• 通过端到端训练联合优化匹配特征与排序损失，在 TREC-QA 基准上建立新的最先进水平。

提出的方法

• 该模型使用多模态相似度度量 $ f_{\text{match}} $ 构建成对标记相似度矩阵，定义为 $ m^{k}_{i,j} = \mathbf{w}_i^1{}^T U^k \mathbf{w}_j^2 + b^k_{i,j} $，其中 $ U^k $ 为每种模态 $ k $ 的可学习变换矩阵。
• 相似度矩阵通过使用 ReLU 和 tanh 激活函数的深层卷积网络进行处理，利用滤波器组学习跨词对的分层匹配模式。
• 网络采用共享权重的多层卷积与最大池化操作，从相似度矩阵中提取局部与全局匹配表征。
• 将简单的词重叠特征（包括 IDF 加权重叠）与学习到的匹配表征拼接，以提升排序性能。
• 最终表征输入点式排名损失以实现端到端训练，优化答案选择准确率。
• 该模型使用 Caffe 实现，支持多种相似度模态（欧几里得、余弦、可学习度量）以进行消融分析与对比。

实验结果

研究问题

• RQ1 在成对标记匹配上直接训练的深度卷积网络，是否能超越 Siamese 或注意力机制架构，在答案选择任务中表现更优？
• RQ2 多模态相似度度量学习是否能通过更好地捕捉多义性与上下文细微差别，提升词汇层面匹配性能，优于单度量方法？
• RQ3 在使用成对匹配特征时，增加网络深度在多大程度上能提升答案选择性能？
• RQ4 在 TREC-QA 基准上，所提出的 M$^2$S-Net 与最先进方法相比，其 MAP 和 MRR 表现如何？
• RQ5 可学习的多模态相似度度量是否能在答案选择任务中超越固定度量（如余弦或欧几里得距离）？

主要发现

• 使用可学习多模态相似度度量的 M$^2$S-Net（M$^2$S-Net-Metric-4）在 TREC-QA 测试集上达到 77.93% 的 MAP 与 84.87% 的 MRR，超越所有先前最先进方法。
• 当相似度模态数量从 1 增加到 4 时，模型性能提升 7%，证明了多粒度匹配的有效性。
• 深层网络结构（两层卷积）优于浅层版本（单层），表明更深网络能从所提出的成对匹配机制中获益。
• 在表 1 的示例中，该模型将正确答案排在前 3 名，而余弦与欧几里得度量分别排在第 26 名与第 35 名。
• M$^2$S-Net-Metric-4 在 MAP 与 MRR 上均比先前最先进方法（Santos 等，2016）提升 1%，后者采用注意力机制方法。
• 消融研究证实，深层网络结构与多模态度量学习的结合对性能提升至关重要，两者的贡献均显著。