[论文解读] FAQ-based Question Answering via Word Alignment

Zhiguo Wang, Abraham Ittycheriah|arXiv (Cornell University)|Jul 9, 2015

Topic Modeling参考文献 15被引用 38

一句话总结

该论文提出了一种基于词对齐的神经网络模型，用于基于FAQ的问答任务，通过利用分布式词表示和学习到的词对齐来计算问题相似度。通过整合基于自举优化的稀疏特征和基于学习排序的训练方法，该方法在多语言FAQ匹配和答案句选择任务上均取得了当前最优性能，在TREC数据集上相比先前系统有显著提升，稀疏特征使top-1准确率提高了约5%。

ABSTRACT

In this paper, we propose a novel word-alignment-based method to solve the FAQ-based question answering task. First, we employ a neural network model to calculate question similarity, where the word alignment between two questions is used for extracting features. Second, we design a bootstrap-based feature extraction method to extract a small set of effective lexical features. Third, we propose a learning-to-rank algorithm to train parameters more suitable for the ranking tasks. Experimental results, conducted on three languages (English, Spanish and Japanese), demonstrate that the question similarity model is more effective than baseline systems, the sparse features bring 5% improvements on top-1 accuracy, and the learning-to-rank algorithm works significantly better than the traditional method. We further evaluate our method on the answer sentence selection task. Our method outperforms all the previous systems on the standard TREC data set.

研究动机与目标

• 为解决FAQ问答中因词汇变化而掩盖语义的语义相似性挑战。
• 克服先前方法依赖语义词典或大规模平行问题集的局限性。
• 仅使用单语数据和词对齐，构建低资源、多语言的FAQ问答系统。
• 通过针对问题相似性任务定制的学习排序算法，提升排序性能。
• 在多语言FAQ档案和标准TREC答案句选择基准上评估该方法。

提出的方法

• 该方法使用分布式词表示（如word2vec）之间的余弦距离计算词级相似度，构建查询与候选问题之间的相似度矩阵。
• 利用相似度矩阵计算问题之间的最优词对齐，提取对齐位置和得分作为密集特征。
• 采用基于自举的特征提取方法，从系统排序结果中识别出一组小而有效的稀疏词汇特征，以防止在小型FAQ档案上过拟合。
• 神经网络模型将组合后的密集特征与稀疏特征作为输入，采用Sigmoid输出层预测[0,1]范围内的相似度。
• 使用基于学习排序的算法进行模型训练，优化目标为排序性能而非二分类。
• 该系统在英语、西班牙语和日语的FAQ档案以及TREC答案句选择数据集上进行了评估。

实验结果

研究问题

• RQ1 基于分布式词表示所获得的词对齐，能否在低资源FAQ设置下有效捕捉语义相似性？
• RQ2 基于自举的方法在小型FAQ档案中选择最小有效信息稀疏特征集的效率如何？
• RQ3 与传统的基于分类的训练相比，学习排序的训练目标是否能提升问题相似性排序的性能？
• RQ4 所提出的方法在多语言场景下的泛化能力如何？是否在多语言FAQ和答案句选择任务上优于现有系统？

主要发现

• 通过自举方法提取的稀疏特征使所有三种语言（英语、西班牙语、日语）的top-1准确率均提升了约5%。
• 学习排序算法显著优于传统的基于分类的训练方法，在开发集上展现出更优的排序性能。
• 隐藏层为300个神经元的神经网络取得了最佳性能，表明非线性建模能有效提升相似度预测能力。
• 在TREC答案句选择基准上，该方法取得了0.746的MAP和0.820的MRR，优于所有先前的SOTA系统。
• 在英语测试集上，'SparseHidden'模型（密集特征 + 稀疏特征 + 300个隐藏神经元）的top-1准确率为52.04%，西班牙语为59.42%，日语为70.29%。