[论文解读] Deep Learning for Answer Sentence Selection

Lei Yu, Karl Moritz Hermann+2 more|arXiv (Cornell University)|Dec 4, 2014

Topic Modeling参考文献 20被引用 354

一句话总结

本文提出了一种基于深度学习的答案句子选择方法，利用词袋模型和基于卷积神经网络（CNN）的二元语法模型生成分布式句子表征，并在预训练词嵌入上进行训练。该方法在TREC QA基准测试中实现了最先进性能，无需特征工程或外部语言资源，通过利用语义匹配和简单的词共现特征，超越了依赖人工设计特征和语义资源的先前方法。

ABSTRACT

Answer sentence selection is the task of identifying sentences that contain the answer to a given question. This is an important problem in its own right as well as in the larger context of open domain question answering. We propose a novel approach to solving this task via means of distributed representations, and learn to match questions with answers by considering their semantic encoding. This contrasts prior work on this task, which typically relies on classifiers with large numbers of hand-crafted syntactic and semantic features and various external resources. Our approach does not require any feature engineering nor does it involve specialist linguistic data, making this model easily applicable to a wide range of domains and languages. Experimental results on a standard benchmark dataset from TREC demonstrate that---despite its simplicity---our model matches state of the art performance on the answer sentence selection task.

研究动机与目标

• 为开放域问答中的答案句子选择问题提出一种基于神经网络的方法。
• 消除对人工设计的句法和语义特征以及外部语言资源（如WordNet）的依赖。
• 开发一种架构复杂度极低、可在不同领域和语言间泛化的模型。
• 通过引入分布式语义表征，提升对传统基于计数基线方法的性能。
• 证明简单的神经句子模型可在答案句子选择任务中达到或超越最先进结果。

提出的方法

• 该模型使用预训练词嵌入将问题和候选答案编码为密集向量表征。
• 采用词袋句子模型和基于CNN的二元语法模型来学习分布式句子表征。
• 训练一个有监督的匹配函数，基于其语义编码预测问题-答案对的相关性。
• 该方法将神经匹配信号与简单的加权词共现计数器结合，以提升鲁棒性。
• 该模型在TREC QA数据集上端到端训练，无需语言学标注或领域特定的特征工程。
• 该模型的增强版本融合了分布语义与表层词匹配，以提升对罕见词或未登录词的性能。

实验结果

研究问题

• RQ1 基于神经网络的句子模型是否能在无需特征工程的情况下，有效学习问题与答案句子之间的语义匹配？
• RQ2 分布语义句子模型在答案句子选择任务中的性能与传统基于计数的基线相比如何？
• RQ3 预训练词嵌入和简单神经架构在该任务中能在多大程度上替代复杂的、人工编码的语言学特征？
• RQ4 在不重新训练或调整资源的情况下，仅在通用语料上训练的模型能否在不同领域和语言间实现泛化？
• RQ5 将分布语义与表层词匹配相结合，是否能提升在涉及数字或专有名词的困难情况下的性能？

主要发现

• 所提出的模型在TREC答案句子选择基准上实现了最先进性能，无需使用外部语义资源，其表现与最佳报告结果相当。
• 与纯共现计数基线相比，引入分布式语义表征使MAP和MRR得分均提升了约10%。
• 基于CNN的二元语法模型优于词袋模型，证明了在句子编码中捕捉局部n-gram模式的优势。
• 组合模型（二元语法 + 共现）在仅靠词频无法区分正确答案的情况下仍能成功识别正确答案，例如当两个候选答案与问题的词重叠相同时。
• 该模型通过利用语义相似性（如“die”和“killed”语义相近），有效处理了专有名词和数值表达，即使这些词为未登录词并被赋予UNKNOWN标记。
• 尽管在捕捉复杂句法或世界知识依赖关系（如“group”与“lead singer”）方面存在局限，该模型仍显著优于纯粹的词汇基线方法。