[论文解读] Expert Finding in Community Question Answering: A Review

Sha Yuan, Yu Zhang+2 more|arXiv (Cornell University)|Apr 21, 2018

Expert finding and Q&A systems参考文献 30被引用 10

一句话总结

本文综述了社区问答（CQA）中的专家发现方法，将现有方法分类为基于矩阵分解（MF-based）、基于梯度提升树（GBT-based）、基于深度学习（DL-based）和基于排序（R-based）的模型。研究发现，MF-based模型在文本与文本匹配任务中表现最佳，而集成学习显著提升了所有任务的性能，顶尖模型在真实CQA数据上的AUC得分最高达到0.50812。

ABSTRACT

The rapid development recently of Community Question Answering (CQA) satisfies users quest for professional and personal knowledge about anything. In CQA, one central issue is to find users with expertise and willingness to answer the given questions. Expert finding in CQA often exhibits very different challenges compared to traditional methods. Sparse data and new features violate fundamental assumptions of traditional recommendation systems. This paper focuses on reviewing and categorizing the current progress on expert finding in CQA. We classify all the existing solutions into four different categories: matrix factorization based models (MF-based models), gradient boosting tree based models (GBT-based models), deep learning based models (DL-based models) and ranking based models (R-based models). We find that MF-based models outperform other categories of models in the field of expert finding in CQA. Moreover, we use innovative diagrams to clarify several important concepts of ensemble learning, and find that ensemble models with several specific single models can further boosting the performance. Further, we compare the performance of different models on different types of matching tasks, including text vs. text, graph vs. text, audio vs. text and video vs. text. The results can help the model selection of expert finding in practice. Finally, we explore some potential future issues in expert finding research in CQA.

研究动机与目标

• 系统性地回顾并分类社区问答（CQA）中前沿专家发现方法。
• 评估四类模型——MF-based、GBT-based、DL-based和R-based——在多样化匹配任务（如文本对文本、图对文本等）上的性能表现。
• 分析ByteCup竞赛中表现最佳团队所采用的集成学习策略，并评估其对模型性能的影响。
• 识别CQA专家发现中的关键挑战，包括数据稀疏性、隐式反馈以及模型可解释性。
• 通过比较不同匹配类型与模型族之间的性能表现，为实际模型选择提供指导。

提出的方法

• 本文将CQA中现有的专家发现解决方案划分为四类：基于矩阵分解（MF-based）、基于梯度提升树（GBT-based）、基于深度学习（DL-based）和基于排序（R-based）的模型。
• 在ByteCup 2016竞赛数据集上评估各类模型性能，采用本地验证方法衡量其在文本、图、音频和视频匹配任务中的表现。
• 分析ByteCup竞赛中排名前五名团队所采用的集成学习策略，借助创新的图表清晰阐释模型多样性与堆叠等概念。
• 使用AUC分数衡量性能，结果按不同匹配类型（如文本对文本、音频对文本等）及模型组合进行报告。
• 比较单模型与集成模型的性能，证明通过组合多样化模型可实现超越任一单一组件的性能提升。
• 研究基于来自字节跳动（5.8亿用户）的真实CQA数据，以确保研究发现的实际相关性与鲁棒性。

实验结果

研究问题

• RQ1 在专家发现任务中，特别是文本对文本匹配任务中，MF-based、GBT-based、DL-based或R-based模型中哪一类表现最佳？
• RQ2 与单个模型相比，集成学习如何提升专家发现性能？其有效集成的关键设计原则是什么？
• RQ3 在不同匹配类型（如文本对文本、图对文本、音频对文本、视频对文本）中，各类模型族的相对优势是什么？
• RQ4 为何MF-based模型在CQA数据稀疏的场景下优于其他模型？这对模型选择有何启示？
• RQ5 专家发现中的关键开放挑战有哪些，包括隐式反馈的整合、模型可解释性以及模型可重用性？

主要发现

• MF-based模型在单模型中表现最佳，AUC分数范围为0.3665至0.4119，在文本对文本匹配任务中优于其他类别。
• 集成模型显著优于任一单个模型，AUC分数范围为0.49003至0.50812，充分体现了模型组合的强大优势。
• DL-based模型在图对文本和视频对文本匹配任务中表现最佳，得益于其捕捉复杂数据高维特征的能力。
• GBT-based模型在音频对文本匹配任务中表现强劲，表明其适用于涉及音频数据的多模态任务。
• 即使表现较弱的单个模型，在与多样化模型结合后也能产生积极贡献，证实集成学习可增强模型的鲁棒性与准确性。
• 研究结果表明，没有单一模型能在所有任务中占据主导地位，模型选择应基于匹配类型与数据模态进行权衡。