[论文解读] Deep Feature Fusion Network for Answer Quality Prediction in Community Question Answering

Sai Praneeth Suggu, Kushwanth Naga Goutham+2 more|arXiv (Cornell University)|Jun 22, 2016

Expert finding and Q&A systems参考文献 25被引用 8

一句话总结

本文提出深度特征融合网络（DFFN），一种混合模型，将来自外部资源（如维基百科、跨语言词典GCD和点击数据）的手工设计特征（HCF）与通过卷积神经网络（CNN）学习到的深度特征相结合，用于社区问答（cQA）中的答案质量预测。DFFN在SemEval-2015和SemEval-2016基准测试中均优于纯HCF和纯深度学习基线模型，通过深度神经网络有效融合语言、语义和行为信号，取得了当前最优性能。

ABSTRACT

Community Question Answering (cQA) forums have become a popular medium for soliciting direct answers to specific questions of users from experts or other experienced users on a given topic. However, for a given question, users sometimes have to sift through a large number of low-quality or irrelevant answers to find out the answer which satisfies their information need. To alleviate this, the problem of Answer Quality Prediction (AQP) aims to predict the quality of an answer posted in response to a forum question. Current AQP systems either learn models using - a) various hand-crafted features (HCF) or b) use deep learning (DL) techniques which automatically learn the required feature representations. In this paper, we propose a novel approach for AQP known as - "Deep Feature Fusion Network (DFFN)" which leverages the advantages of both hand-crafted features and deep learning based systems. Given a question-answer pair along with its metadata, DFFN independently - a) learns deep features using a Convolutional Neural Network (CNN) and b) computes hand-crafted features using various external resources and then combines them using a deep neural network trained to predict the final answer quality. DFFN achieves state-of-the-art performance on the standard SemEval-2015 and SemEval-2016 benchmark datasets and outperforms baseline approaches which individually employ either HCF or DL based techniques alone.

研究动机与目标

• 为解决社区问答（cQA）论坛中低质量或不相关答案的挑战。
• 通过结合手工设计特征（HCF）与深度学习（DL）模型的优势，提升答案质量预测（AQP）性能。
• 开发一个统一框架，融合多样化的外部知识源与深度神经表征，以实现更优的质量评分。
• 在标准AQP基准上超越现有的仅使用HCF或仅使用DL的方法。

提出的方法

• DFFN使用卷积神经网络（CNN）从问答对中独立学习深度特征。
• 利用外部资源计算手工设计特征：维基百科（用于实体链接）、谷歌跨语言词典（GCD）、点击数据以及句子向量（Sent2Vec）嵌入。
• 通过GCD和基于维基百科的实体链接捕捉语义和句法相似性，而点击数据和Sent2Vec则提供查询级别的语义对齐。
• 一个深度神经网络将CNN学习到的深度特征与手工设计特征进行融合，以预测最终的答案质量得分。
• 模型通过在标注的cQA数据集上使用监督学习进行端到端训练，以优化答案质量预测。
• 特征融合在表征层面进行，使网络能够学习HCF与DL特征之间的复杂交互。

实验结果

研究问题

• RQ1 与单独使用任一方法相比，将手工设计特征与深度神经特征结合是否能提升答案质量预测性能？
• RQ2 外部知识源（如维基百科、GCD和点击数据）在增强AQP的语义和句法信号表征方面有多有效？
• RQ3 一种融合多种异构特征类型的深度神经网络架构是否优于仅依赖CNN或HCF的模型？
• RQ4 特定特征（如通过TagMe实现的实体链接或通过Sent2Vec实现的句子相似性）在识别模糊或反讽答案时的贡献程度如何？
• RQ5 将行为信号（如作者声誉、响应模式）与语义特征结合，是否能提升在低资源或噪声较多的cQA环境下的鲁棒性？

主要发现

• DFFN在SemEval-2015和SemEval-2016社区问答答案质量预测基准测试中均取得了当前最优性能。
• 该模型优于仅使用手工设计特征或仅使用深度学习模型的基线系统，证明了特征融合的优势。
• 在定性分析中，DFFN能正确识别出基线模型失败的高质量答案，尤其是在GCD或TagMe特征捕捉到实体间语义关联（如快递服务、BT软件）时。
• Sent2Vec与点击数据的整合提升了在语义共现性强但表面形式不同的查询上的性能。
• DFFN在处理反讽和近似重复答案方面表现出鲁棒性，但偶尔会因过度依赖高相似度的句子向量而误分类。
• 当作者声誉和响应模式特征处于中性状态时，DFFN的性能对特征平衡敏感，可能因句子级特征的强语义相似性而误分类。