[论文解读] LSTM-based Deep Learning Models for Non-factoid Answer Selection

Ming Tan, Cícero dos Santos+2 more|arXiv (Cornell University)|Nov 12, 2015

Topic Modeling参考文献 24被引用 403

一句话总结

本文提出了一种基于双向LSTM的深度学习框架，用于非事实型答案选择，消除了对手动设计特征或语言工具的依赖。通过结合biLSTM、CNN和注意力机制，实现更优的上下文感知表征，该模型在TREC-QA和InsuranceQA两个数据集上均取得了当前最优性能，在TREC-QA上的MRR指标上超越强基线模型最高达4%。

ABSTRACT

In this paper, we apply a general deep learning (DL) framework for the answer selection task, which does not depend on manually defined features or linguistic tools. The basic framework is to build the embeddings of questions and answers based on bidirectional long short-term memory (biLSTM) models, and measure their closeness by cosine similarity. We further extend this basic model in two directions. One direction is to define a more composite representation for questions and answers by combining convolutional neural network with the basic framework. The other direction is to utilize a simple but efficient attention mechanism in order to generate the answer representation according to the question context. Several variations of models are provided. The models are examined by two datasets, including TREC-QA and InsuranceQA. Experimental results demonstrate that the proposed models substantially outperform several strong baselines.

研究动机与目标

• 开发一种无需人工特征工程或语言工具的深度学习框架，用于答案选择。
• 通过结合biLSTM与卷积神经网络，提升局部特征提取能力，改善答案表征。
• 利用注意力机制增强问题与答案之间的匹配，该机制在答案编码过程中动态聚焦于相关的问题上下文。
• 在两个多样化的非事实型问答数据集（TREC-QA和InsuranceQA）上评估所提出的模型。
• 证明端到端学习结合注意力机制与层次化表征，优于传统的基于特征的方法和仅使用CNN的基线模型。

提出的方法

• 模型使用双向LSTM将问题和答案候选编码为密集向量表征。
• 对biLSTM的最终隐藏状态应用最大池化层，为每个序列生成固定大小的表征。
• 在biLSTM输出之上堆叠卷积神经网络（CNN），以捕捉局部n-gram特征并提升表征质量。
• 引入注意力机制，生成基于问题上下文的条件答案表征，实现对答案中相关部分的动态聚焦。
• 使用余弦相似度度量问题与答案嵌入之间的匹配分数。
• 采用随机梯度下降和交叉熵损失进行端到端训练，优化目标为将正确答案排在最高位置。

实验结果

研究问题

• RQ1 仅基于biLSTM和注意力机制的深度学习框架是否能在不依赖语言特征或外部资源的情况下实现更优的答案选择性能？
• RQ2 将CNN与biLSTM结合，如何提升非事实型问答中问题与答案的表征学习能力？
• RQ3 引入能够将答案与问题上下文对齐的注意力机制，在多大程度上提升了匹配准确性？
• RQ4 所提出的模型是否具备跨领域泛化能力，这在TREC-QA和InsuranceQA上的表现是否可以证明？
• RQ5 在MAP和MRR指标上，该模型与强基线模型（包括仅使用CNN和人工特征工程的模型）相比表现如何？

主要发现

• 结合biLSTM、CNN和注意力机制的模型（Model E）在TREC-QA上表现最佳，MAP达到72.79%，MRR达到82.40%，分别优于最佳基线模型1.45%（MAP）和2.9%（MRR）。
• Model D（结合biLSTM/CNN与注意力机制）的MRR达到83.22%，相比Wang & Nyberg（2015）的基线模型在MRR上提升了4%。
• 仅使用注意力机制的Model B相比基础QA-LSTM模型，MRR提升了约2%，证明其在聚焦答案相关部分方面的有效性。
• CNN增强型模型（Model C）相比基础QA-LSTM模型，MAP和MRR均提升超过2%，表明局部特征学习能有效增强表征能力。
• 无注意力机制的模型（Model A）MAP为68.19%，MRR为76.52%，表明即使基础biLSTM框架也优于早期基于特征的方法。
• InsuranceQA数据集上的结果表明，模型在两个非深度学习基线和一个强深度学习基线（基于CNN）上均表现出显著提升，证实了该框架在跨领域任务中的泛化能力。