[论文解读] Answer Sequence Learning with Neural Networks for Answer Selection in Community Question Answering

Xiaoqiang Zhou, Baotian Hu+3 more|arXiv (Cornell University)|Jun 22, 2015

Expert finding and Q&A systems参考文献 18被引用 24

一句话总结

本文提出 R-CNN，一种神经网络模型，通过结合卷积神经网络（CNN）以联合学习问题-答案表征，并利用长短期记忆（LSTM）网络建模答案之间的序列依赖关系，将社区问答中的答案选择任务视为序列标注任务。该方法在 SemEval 2015 CQA 数据集上实现了最先进性能，宏平均 F1 得分为 56.14%，通过有效利用答案序列中的上下文信息，显著优于现有方法。

ABSTRACT

In this paper, the answer selection problem in community question answering (CQA) is regarded as an answer sequence labeling task, and a novel approach is proposed based on the recurrent architecture for this problem. Our approach applies convolution neural networks (CNNs) to learning the joint representation of question-answer pair firstly, and then uses the joint representation as input of the long short-term memory (LSTM) to learn the answer sequence of a question for labeling the matching quality of each answer. Experiments conducted on the SemEval 2015 CQA dataset shows the effectiveness of our approach.

研究动机与目标

• 解决现有答案选择方法忽略问题响应序列中连续答案之间语义相关性的局限性。
• 通过使用循环神经网络建模答案的序列结构，提升答案选择性能。
• 利用卷积神经网络学习问题-答案对的联合分布式表征，实现更丰富的语义匹配。
• 通过利用先前响应的上下文信息，提升对模糊或中等质量答案（如“Potential”标签）的分类能力。
• 展示混合 CNN-LSTM 架构在处理现实世界 CQA 数据中不均衡答案质量分布方面的有效性。

提出的方法

• 模型使用预训练词嵌入在序列的每个步骤对每个问题-答案对进行编码。
• 应用卷积神经网络（CNN）学习每个问题-答案对的联合表征，捕捉层次化句子结构和匹配模式。
• 将学习到的联合表征输入长短期记忆（LSTM）网络，以建模答案序列中的依赖关系，并预测每个答案的质量标签。
• LSTM 按顺序处理答案，通过更新其隐藏状态来整合前序答案的上下文信息，从而提升分类准确率。
• 在 LSTM 输出端使用 Softmax 层，预测每个答案的匹配质量（Good、Bad、Potential）。
• 模型在 SemEval 2015 CQA 数据集上使用交叉熵损失和随机梯度下降进行端到端训练。

实验结果

研究问题

• RQ1 建模答案的序列结构是否能提升社区问答中的答案选择性能？
• RQ2 通过 LSTM 引入答案之间的长程依赖关系，是否能提升对模糊或中等质量答案的分类性能？
• RQ3 与传统基于特征的方法相比，CNN 学习的联合表征在捕捉问题与答案之间语义相关性方面表现如何？
• RQ4 R-CNN 模型在不均衡 CQA 数据集上相对于现有最先进方法的性能提升程度如何？
• RQ5 CNN 联合表征与 LSTM 序列建模的结合，是否能有效处理现实世界 CQA 论坛中的噪声和非正式语言？

主要发现

• R-CNN 模型在 SemEval 2015 CQA 数据集上实现了 56.14% 的宏平均 F1 得分，优于所有基线方法，包括 SVM、CRF、DBN、mDBN 和 CNN。
• 模型在 'Potential' 类别上表现提升最为显著，F1 得分为 15.22%，高于次优方法 mDBN 的 14.74%。
• 与 CNN（F1 得分为 54.42%）相比，性能的提升表明通过 LSTM 建模答案序列依赖关系为答案选择带来了显著价值。
• 模型有效处理了类别不平衡问题，尤其在识别具有模糊性质的 'Potential' 答案方面表现优异。
• 使用 CNN 进行联合表征学习，相比词袋模型或浅层特征模型，能捕捉更丰富的语义匹配模式，从而提升整体性能。
• 结果证实，通过 LSTM 利用序列上下文能有效提升召回率，尤其对依赖上下文或与先前回答语义关联的答案具有显著优势。