[论文解读] Match-SRNN: Modeling the Recursive Matching Structure with Spatial RNN

Shengxian Wan, Yanyan Lan+4 more|arXiv (Cornell University)|Apr 15, 2016

Topic Modeling参考文献 15被引用 130

一句话总结

Match-SRNN 模型通过一个递归匹配结构来在两段文本之间建立全局交互，使用神经张量来捕获词级交互，再通过二维空间 GRU 将它们整合，在问答与论文引用任务上达到最先进的结果。

ABSTRACT

Semantic matching, which aims to determine the matching degree between two texts, is a fundamental problem for many NLP applications. Recently, deep learning approach has been applied to this problem and significant improvements have been achieved. In this paper, we propose to view the generation of the global interaction between two texts as a recursive process: i.e. the interaction of two texts at each position is a composition of the interactions between their prefixes as well as the word level interaction at the current position. Based on this idea, we propose a novel deep architecture, namely Match-SRNN, to model the recursive matching structure. Firstly, a tensor is constructed to capture the word level interactions. Then a spatial RNN is applied to integrate the local interactions recursively, with importance determined by four types of gates. Finally, the matching score is calculated based on the global interaction. We show that, after degenerated to the exact matching scenario, Match-SRNN can approximate the dynamic programming process of longest common subsequence. Thus, there exists a clear interpretation for Match-SRNN. Our experiments on two semantic matching tasks showed the effectiveness of Match-SRNN, and its ability of visualizing the learned matching structure.

研究动机与目标

• 将语义匹配动机化为两段文本之间的递归过程，以更好地捕捉交互。
• 提出一个新颖的架构（Match-SRNN）来建模递归匹配结构。
• 展示模型能够近似动态规划（如 LCS）并通过可视化提供可解释性。
• 在问答和论文引用任务上相比基线展示有效性。

提出的方法

• 使用神经张量网络在两段文本之间构建词级相似性张量。
• 对相似性张量应用空间（二维）GRU 以计算全局交互表征 h_{mn}。
• 使用四个门来管理来自 h_{i-1,j}, h_{i,j-1}, h_{i-1,j-1}, 以及 s_{ij} 的信息流。
• 通过线性函数 M(S1,S2) = W^{(s)} h_{mn} + b^{(s)} 产生最终匹配得分。
• 用任务相关的损失端对模型进行端到端训练（回归使用平方损失，排序使用铰损失，分类使用交叉熵）。
• 通过退化匹配为精确匹配并结合门控回溯，突出与动态规划及 LCS 的理论联系并展示可解释性。

实验结果

研究问题

• RQ1 一个递归式文本匹配是否比层级方法更好地捕捉长距离的交互？
• RQ2 在词级交互张量上应用空间RNN 是否能有效建模全局文本交互并提高问答与论文引用匹配的性能？
• RQ3 Match-SRNN 与像最长公共子序列（LCS）这样的动态规划公式在退化时有何关系？
• RQ4 Match-SRNN 是否可解释，能够对学习到的匹配结构进行可视化？
• RQ5 Match-SRNN 的两种变体（单向与双向）在语义匹配任务上的表现是否有差异？

主要发现

模型	P@1 (QA)	MRR (QA)	准确率 (PC)
Random Guess	0.200	0.457	0.500
BM25	0.579	0.726	0.832
ARC-I	0.581	0.756	0.845
CNTN	0.626	0.781	0.862
LSTM-RNN	0.690	0.822	0.878
MultiGranCNN	0.725	0.840	0.885
MV-LSTM	0.766	0.869	0.890
ARC-II	0.591	0.765	0.865
MatchPyramid-Tensor	0.764	0.867	0.894
Match-SRNN	0.785	0.879	0.898
Bi-Match-SRNN	0.790	0.882	0.901

• Match-SRNN 在问答和论文引用任务上显著优于基线。
• 双向的 Match-SRNN 相比单向版本进一步提升结果。
• 在问答任务上，Match-SRNN 相较 MV-LSTM 提升 P@1 约 3.1%，相比 ARC-II 与 MatchPyramid 至少提升 3.4%。
• 在问答任务上，Bi-Match-SRNN 达到了所有模型中最高的分数（P@1 和 MRR）。
• 在论文引用任务 PC 上，Match-SRNN 达成最佳结果，尽管由于任务难度较低，提升幅度较小。
• 该模型能够可视化学习到的匹配结构，在某些设置下揭示出与 LCS 相似的匹配路径。