[论文解读] Applying Deep Learning to Answer Selection: A Study and An Open Task

Minwei Feng, Bing Xiang+3 more|arXiv (Cornell University)|Aug 7, 2015

Topic Modeling参考文献 17被引用 74

一句话总结

本文提出了一种用于非事实型问答中答案选择的深度学习框架，使用卷积神经网络（CNNs）学习问题和答案候选的稠密向量表示，然后应用新颖的相似性度量方法对答案进行排序。该方法在具有挑战性的保险领域问答基准上实现了65.3%的Top-1准确率，作者还发布了新的、公开可用的问答语料库，以支持方法间的公平比较。

ABSTRACT

We apply a general deep learning framework to address the non-factoid question answering task. Our approach does not rely on any linguistic tools and can be applied to different languages or domains. Various architectures are presented and compared. We create and release a QA corpus and setup a new QA task in the insurance domain. Experimental results demonstrate superior performance compared to the baseline methods and various technologies give further improvements. For this highly challenging task, the top-1 accuracy can reach up to 65.3% on a test set, which indicates a great potential for practical use.

研究动机与目标

• 开发一种通用的、语言无关的深度学习框架，用于问答中的答案选择。
• 创建并发布一个新的、特定领域的保险领域问答语料库，以支持可复现的研究和公平的基准测试。
• 研究各种深度学习架构（包括带层间监督和非连续卷积的CNN）在答案选择中的有效性。
• 评估并比较多种相似性度量方法以匹配问题-答案对，识别出优于传统余弦相似度的替代方案。
• 在具有500个候选答案的挑战性答案选择任务中展示最先进性能。

提出的方法

• 使用深度学习框架，通过词嵌入和卷积神经网络将问题和答案候选嵌入到稠密向量表示中。
• 探索多种CNN架构，包括单层和双层CNN，有无层间预训练，以改善优化和特征抽象。
• 应用非连续卷积以捕捉非连续词模式（如跳词二元组），增强特征表示。
• 提出新型相似性度量方法，结合L2-范数（欧几里得距离）和内积（类似余弦）度量，包括GESD和AESD，以更好地捕捉语义匹配。
• 模型端到端训练，以最大化正确答案对的相似度得分，同时最小化错误答案对的得分。
• 在问题和答案之间使用共享嵌入层，以确保表示学习的一致性。

实验结果

研究问题

• RQ1 不同深度学习架构（如单层与双层CNN）对答案选择性能有何影响？
• RQ2 层间监督对训练深层CNN进行问题-答案匹配有何影响？
• RQ3 与标准卷积相比，使用跳词二元组的非连续卷积能否提升性能？
• RQ4 在问题-答案匹配中，哪种相似性度量方法——余弦、L1、L2或混合方法——表现最佳？
• RQ5 通用的、语言无关的深度学习框架在特定领域问答任务中，能在多大程度上超越传统信息检索和词袋模型基线？

主要发现

• 所提出的深度学习框架在测试集上实现了65.3%的Top-1准确率，显著优于基线方法。
• 使用双层CNN并配合层间监督，通过实现更高级别的抽象和更好的优化，提升了准确率。
• 所提出的相似性度量AESD（欧几里得距离与Sigmoid点积的算术平均）优于传统余弦相似度及其他度量方法。
• 通过非连续卷积引入跳词二元组特征，在Test1上带来性能提升，但在Test2上并不一致，表明其收益具有上下文依赖性。
• 增加CNN层中的滤波器数量可进一步提升性能，表明模型容量是关键因素。
• 保险领域问答语料库的发布为特定领域问答中的公平比较和可复现研究提供了新基准。