[论文解读] A Deep Learning Approach for Expert Identification in Question Answering Communities

Zheng Chen, Shuangfei Zhai+1 more|arXiv (Cornell University)|Nov 14, 2017

Expert finding and Q&A systems参考文献 2被引用 11

一句话总结

本文提出了一种新颖的基于CNN的框架Q-USER-CNN，仅使用问题文本和用户嵌入来识别问答社区中的专家，而无需依赖答案质量。通过卷积神经网络联合建模问题与用户表征，该方法在Stack Overflow和Zhihu数据集上实现了SOTA的Top-1准确率。

ABSTRACT

In this paper, we describe an effective convolutional neural network framework for identifying the expert in question answering community. This approach uses the convolutional neural network and combines user feature representations with question feature representations to compute scores that the user who gets the highest score is the expert on this question. Unlike prior work, this method does not measure expert based on measure answer content quality to identify the expert but only require question sentence and user embedding feature to identify the expert. Remarkably, Our model can be applied to different languages and different domains. The proposed framework is trained on two datasets, The first dataset is Stack Overflow and the second one is Zhihu. The Top-1 accuracy results of our experiments show that our framework outperforms the best baseline framework for expert identification.

研究动机与目标

• 为解决在在线问答社区中，不依赖答案质量指标，为给定问题识别单一专家用户这一挑战。
• 开发一种可在不同语言和领域间泛化的框架，适用于Stack Overflow和Zhihu等多样化的问答平台。
• 通过问题与用户匹配识别最合适的专家，实现在尚未存在答案的场景下实现专家推荐。
• 通过利用学习到的嵌入和端到端深度学习，消除对语言工具或人工特征工程的依赖。
• 通过基于CNN的打分机制，证明结合用户与问题表征的有效性。

提出的方法

• 利用DeepWalk从问答社区的社会网络结构中学习用户低维向量表征。
• 采用预训练的词嵌入（GloVe或Word2Vec）将问题文本表示为连续向量空间中的向量。
• 应用一维卷积神经网络（CNN）从问题和用户嵌入序列中提取局部特征。
• 将CNN处理后的问题与用户特征拼接，并输入全连接层以计算匹配得分。
• 选择得分最高的用户作为给定问题的预测专家。
• 使用带有边距的对比损失函数进行模型训练，以优化专家与非专家用户对的排序。

实验结果

研究问题

• RQ1 仅使用问题内容和用户嵌入，不依赖答案质量，深度学习模型能否有效识别问答社区中的专家用户？
• RQ2 所提出的Q-USER-CNN框架在不同语言（如英语和中文）和不同领域（如Stack Overflow的10+个领域，Zhihu的100个领域）之间泛化能力如何？
• RQ3 该模型是否优于使用答案内容或基于图的特征进行专家识别的现有基线方法？
• RQ4 哪些超参数设置（如感受野大小、学习率、嵌入类型）在多样化问答数据集上能取得最优性能？
• RQ5 该模型能否应用于尚未存在答案的场景，从而实现在问题出现前的主动专家推荐？

主要发现

• 在Zhihu test2数据集上，Q-USER-CNN模型取得了85.32%的Top-1准确率，较Q-A-CNN基线模型高出超过1.3个百分点。
• 在Stack Overflow数据集上，表现最佳的Q-USER-CNN配置达到了85.28%的Top-1准确率，超过Q-A-CNN模型在相同划分上的83.97%。
• 模型在Stack Overflow上最优的区域大小为(2,3,4,5)，在Zhihu上为(3,4,5)，使用1e-5的学习率和Adam优化器。
• 在两个数据集中，GloVe嵌入均持续优于Word2Vec，表明其在多语言和领域泛化专家识别任务中表现更优。
• 该框架在跨领域和跨语言场景下展现出强大的零样本泛化能力，包括英语（Stack Overflow）和中文（Zhihu），且无需依赖语言工具。
• 消融实验证实，基于CNN的用户与问题特征融合显著优于简单匹配方法，能大幅提升专家检测性能。