[论文解读] Improved Answer Selection with Pre-Trained Word Embeddings

Rishav Chakravarti, Jiří Navrátil+1 more|arXiv (Cornell University)|Aug 14, 2017

Topic Modeling参考文献 9被引用 3

一句话总结

本文提出了一种增强的无监督重排序方法 S-RWMD_Q，通过在松弛词移动距离（RWMD）中引入词项邻近性，利用预训练词嵌入改进答案选择。结果表明，将基于嵌入的特征与传统信息检索技术结合，可显著提升性能，达到与最先进深度学习模型相当的效果，且无需标注训练数据。

ABSTRACT

This paper evaluates existing and newly proposed answer selection methods based on pre-trained word embeddings. Word embeddings are highly effective in various natural language processing tasks and their integration into traditional information retrieval (IR) systems allows for the capture of semantic relatedness between questions and answers. Empirical results on three publicly available data sets show significant gains over traditional term frequency based approaches in both supervised and unsupervised settings. We show that combining these word embedding features with traditional learning-to-rank techniques can achieve similar performance to state-of-the-art neural networks trained for the answer selection task.

研究动机与目标

• 在监督和无监督设置下，评估并增强基于预训练词嵌入的答案选择方法。
• 通过利用词嵌入的语义相似性，解决传统词项重叠方法中的词汇鸿沟问题。
• 提出 RWMD 的一种新颖扩展，考虑答案文本中词项的邻近性，以改进语义匹配。
• 证明将传统 IR 特征与基于嵌入的特征结合，可达到或超过复杂神经网络模型的性能。
• 表明无监督的基于嵌入的重排序可优于有监督的基于词项重叠的基线模型。

提出的方法

• 提出 S-RWMD_Q，一种邻近感知的松弛词移动距离变体，可在答案文本中最多 20 个连续词的跨度内评估词项匹配。
• 使用基线语言模型（LM）的最小-最大归一化得分作为第一轮检索方法。
• 通过简单求和（CombSUM）将 LM 基线与 S-RWMD_Q 结合，以提升排序性能。
• 将 S-RWMD_Q 及其他基于嵌入的特征（如 MMP_0.7）整合进使用 LambdaMART 的有监督学习排序框架中。
• 利用预训练词嵌入（Word2Vec/GloVe）计算问题与答案词项之间的语义相似性。
• 应用基于词段的分析以捕捉局部共现模式，增强词项匹配在孤立词项之外的鲁棒性。

实验结果

研究问题

• RQ1 在无监督设置下，邻近感知的 RWMD 扩展是否能提升标准 RWMD 的答案选择性能？
• RQ2 将传统 IR 特征与基于嵌入的特征结合，是否能获得优于单一特征的性能？
• RQ3 无监督的基于嵌入的重排序是否能优于有监督的基于词项重叠的基线模型？
• RQ4 所提出的 S-RWMD_Q 与最先进深度学习模型在答案选择中的性能相比如何？
• RQ5 当与传统特征结合时，基于嵌入的特征在多大程度上增强学习排序模型？

主要发现

• 所提出的 S-RWMD_Q 方法在所有三个基准数据集的无监督和有监督设置下，均显著优于标准 RWMD 和 MMP_0.7。
• 将 LM 基线与 S-RWMD_Q 结合（LM+S-RWMD_Q）在所有三个数据集上均取得最佳无监督性能，且提升具有统计显著性。
• 在嵌入特征增强后的有监督学习排序模型（Embedding-λM）优于基础 λM 模型，并达到与 AP-CNN 神经网络模型相当的性能。
• 在最小的数据集中，嵌入增强的 λM 模型超越了 AP-CNN 模型，表明特征增强可弥补训练数据有限的缺陷。
• LM 与 S-RWMD_Q 的组合始终优于其他混合模型，包括使用 MinDist 或 Spanning-TF-IDF 的模型，证实了嵌入空间中语义邻近性的重要性。
• 即使没有标注数据，无监督的 S-RWMD_Q 方法性能仍超过有监督的基于词项重叠的基线模型，凸显了语义匹配的有效性。