[论文解读] Chaff from the Wheat : Characterization and Modeling of Deleted Questions on Stack Overflow

Denzil Correa, Ashish Sureka|arXiv (Cornell University)|Jan 2, 2014

Expert finding and Q&A systemsComputer Science被引用 17

一句话总结

本文首次对 Stack Overflow 上被删除的问题进行了大规模研究，分析其特征并基于用户资料、社区行为、内容和语法等47个特征构建了预测模型。该模型在问题发布时即实现66%的预测准确率，揭示了低质量内容的模式以及平台问题质量的金字塔结构。

ABSTRACT

Stack Overflow is the most popular CQA for programmers on the web with 2.05M users, 5.1M questions and 9.4M answers. Stack Overflow has explicit, detailed guidelines on how to post questions and an ebullient moderation community. Despite these precise communications and safeguards, questions posted on Stack Overflow can be extremely off topic or very poor in quality. Such questions can be deleted from Stack Overflow at the discretion of experienced community members and moderators. We present the first study of deleted questions on Stack Overflow. We divide our study into two parts (i) Characterization of deleted questions over approx. 5 years (2008-2013) of data, (ii) Prediction of deletion at the time of question creation. Our characterization study reveals multiple insights on question deletion phenomena. We observe a significant increase in the number of deleted questions over time. We find that it takes substantial time to vote a question to be deleted but once voted, the community takes swift action. We also see that question authors delete their questions to salvage reputation points. We notice some instances of accidental deletion of good quality questions but such questions are voted back to be undeleted quickly. We discover a pyramidal structure of question quality on Stack Overflow and find that deleted questions lie at the bottom (lowest quality) of the pyramid. We also build a predictive model to detect the deletion of question at the creation time. We experiment with 47 features based on User Profile, Community Generated, Question Content and Syntactic style and report an accuracy of 66%. Our feature analysis reveals that all four categories of features are important for the prediction task. Our findings reveal important suggestions for content quality maintenance on community based question answering websites.

研究动机与目标

• 理解尽管有严格指南和积极的社区审核，Stack Overflow 上被删除问题的本质与原因。
• 识别问题删除的模式，包括时间分布、投票行为以及作者自删行为。
• 开发一个在问题创建时即可标记低质量内容的预测模型，以提升内容质量并减轻审核人员负担。
• 分析用户资料、社区行为、内容和语法等不同特征类型对预测删除的相对重要性。

提出的方法

• 收集并分析了2008年至2013年间来自 Stack Overflow 的470,096个问题，其中235,048个被删除，235,048个未被删除。
• 将47个预测特征划分为四类：用户资料、社区生成信号、问题内容和句法风格。
• 采用集成学习方法，使用决策树作为基分类器，并结合 SAMME.R 提升算法的 Adaboost 模型。
• 采用70-30%的训练-测试划分，并结合10折交叉验证，以防止过拟合并确保评估的稳健性。
• 逐步添加特征集合，通过F1值、准确率和AUC评估其对预测性能的贡献。
• 利用 Adaboost 的特征重要性分析，识别出四类特征中最具区分性的特征。

实验结果

研究问题

• RQ1 Stack Overflow 上问题删除的时序趋势和行为模式是什么？
• RQ2 社区投票和作者自删行为如何影响删除过程？其背后的动机是什么？
• RQ3 Stack Overflow 上问题质量层级之间存在何种结构性关系？被删除的问题在该层级中处于什么位置？
• RQ4 用户资料、社区行为、内容和语法等特征的何种组合最能预测问题是否会被删除？
• RQ5 机器学习模型在问题创建时预测删除的准确程度如何？各特征集合对预测性能的贡献程度如何？

主要发现

• 过去五年间，Stack Overflow 上被删除的问题数量呈现显著上升趋势，尤其在最近两年更为明显。
• 尽管社区成员在删除投票上花费了较长时间，但一旦达成共识，实际删除过程极为迅速。
• 作者经常自删问题以挽回损失的声誉积分，表明自删行为背后存在声誉激励机制。
• 高价值问题的意外删除虽偶有发生，但通常能通过社区投票迅速恢复。
• Stack Overflow 上存在一个问题质量的金字塔结构，被删除的问题处于最低层级（质量最差），其次是被关闭的问题，最后是活跃问题。
• 预测模型在问题创建时即可实现66%的准确率，随着各类特征集合的逐步加入，性能持续提升，且四类特征均对预测性能有显著贡献。