[论文解读] A Deep Architecture for Semantic Matching with Multiple Positional Sentence Representations

Shengxian Wan, Yanyan Lan+4 more|arXiv (Cornell University)|Nov 26, 2015

Topic Modeling参考文献 25被引用 180

一句话总结

该论文提出MV-LSTM，一种深度神经网络架构，通过使用双向LSTM在不同位置生成多个上下文相关的句子表示，从而增强语义匹配。通过k最大池化和多层感知机对这些位置表示之间的交互进行聚合，该模型在问答和句子补全任务上优于单向量表示和多粒度方法，实现了最先进性能，在P@1上达到最高11.4%的相对提升。

ABSTRACT

Matching natural language sentences is central for many applications such as information retrieval and question answering. Existing deep models rely on a single sentence representation or multiple granularity representations for matching. However, such methods cannot well capture the contextualized local information in the matching process. To tackle this problem, we present a new deep architecture to match two sentences with multiple positional sentence representations. Specifically, each positional sentence representation is a sentence representation at this position, generated by a bidirectional long short term memory (Bi-LSTM). The matching score is finally produced by aggregating interactions between these different positional sentence representations, through $k$-Max pooling and a multi-layer perceptron. Our model has several advantages: (1) By using Bi-LSTM, rich context of the whole sentence is leveraged to capture the contextualized local information in each positional sentence representation; (2) By matching with multiple positional sentence representations, it is flexible to aggregate different important contextualized local information in a sentence to support the matching; (3) Experiments on different tasks such as question answering and sentence completion demonstrate the superiority of our model.

研究动机与目标

• 为解决单个句子表示在语义匹配过程中难以捕捉上下文化局部信息的局限性。
• 克服多粒度模型在捕捉词语/短语上下文依赖含义方面的不足。
• 开发一种深层架构，利用整个句子的丰富上下文，更好地识别匹配中的重要局部特征。
• 实现对句子中不同位置间交互的灵活聚合，以提高匹配准确率。
• 在真实世界NLP任务（如问答和句子补全）中展示所提模型的优越性。

提出的方法

• 每个位置的句子表示由一个双向LSTM生成，该LSTM关注句子中的特定位置，从两个方向捕捉上下文信息。
• 最终的匹配分数通过使用余弦、双线性或张量运算对多个位置表示之间的交互进行聚合计算得出。
• 应用k最大池化以选择最强的k个交互信号，减少噪声并聚焦于显著特征。
• 多层感知机（MLP）处理池化后的特征，生成最终的匹配分数。
• 整个模型通过反向传播和随机梯度下降进行端到端训练。
• 该模型在两个任务上进行评估：问答和句子补全，使用标准基准数据集。

实验结果

研究问题

• RQ1 与单向量句子表示相比，多个位置句子表示是否能提升语义匹配性能？
• RQ2 利用整个句子的丰富上下文是否能增强对匹配中上下文依赖局部特征的识别？
• RQ3 该模型是否能优于依赖固定窗口表示的现有多粒度方法？
• RQ4 结合多个位置的交互是否比仅依赖单一最佳匹配位置更有效？
• RQ5 在词汇重叠有限的任务（如句子补全）中，该模型表现如何？

主要发现

• 在句子补全任务中，MV-LSTM在P@1上相对于最强基线（MultiGranCNN）实现了11.4%的相对提升。
• 该模型优于所有单向量方法（包括LSTM-RNN），证明了多位置表示的必要性。
• 当k > 1时，k最大池化比k = 1表现更优，证实匹配由多个交互决定。
• 案例研究显示，MV-LSTM能正确区分相同词语在不同上下文中的上下文依赖含义（例如，“free”在不同语境下的含义），而MultiGranCNN则不能。
• 该模型显著优于MultiGranCNN，后者在词语具有不同上下文含义时会被词级匹配误导。
• MV-LSTM在问答和句子补全任务上均达到最先进性能，验证了其在多样化NLP任务中的有效性。