[论文解读] Fit or Unfit : Analysis and Prediction of 'Closed Questions' on Stack Overflow

Denzil Correa, Ashish Sureka|arXiv (Cornell University)|Jul 27, 2013

Expert finding and Q&A systems参考文献 10被引用 6

一句话总结

本研究基于2008年至2012年间的340万条Stack Overflow问题，分析并预测了‘关闭’问题。采用结合用户、内容和社区特征的机器学习模型，预测问题关闭的准确率达到73%，其中URL引用和代码片段长度为最重要的预测特征。

ABSTRACT

Stack Overflow is widely regarded as the most popular Community driven Question Answering (CQA) website for programmers. Questions posted on Stack Overflow which are not related to programming topics, are marked as 'closed' by experienced users and community moderators. A question can be 'closed' for five reasons - duplicate, off-topic, subjective, not a real question and too localized. In this work, we present the first study of 'closed' questions in Stack Overflow. We download 4 years of publicly available data which contains 3.4 Million questions. We first analyze and characterize the complete set of 0.1 Million 'closed' questions. Next, we use a machine learning framework and build a predictive model to identify a 'closed' question at the time of question creation. One of our key findings is that despite being marked as 'closed', subjective questions contain high information value and are very popular with the users. We observe an increasing trend in the percentage of closed questions over time and find that this increase is positively correlated to the number of newly registered users. In addition, we also see a decrease in community participation to mark a 'closed' question which has led to an increase in moderation job time. We also find that questions closed with the Duplicate and Off Topic labels are relatively more prone to reputation gaming. For the 'closed' question prediction task, we make use of multiple genres of feature sets based on - user profile, community process, textual style and question content. We use a state-of-art machine learning classifier based on an ensemble learning technique and achieve an overall accuracy of 73%. To the best of our knowledge, this is the first experimental study to analyze and predict 'closed' questions on Stack Overflow.

研究动机与目标

• 分析因重复、偏离主题或主观内容等原因被标记为不适合问答格式的‘关闭’问题的特征。
• 研究问题关闭趋势随时间的变化，包括关闭率上升和社区参与度下降的Moderation行为。
• 开发一种机器学习预测模型，基于问题创建时的特征预测其是否会被关闭。
• 评估声誉操控对特定关闭类型（尤其是重复和偏离主题）的影响。
• 利用集成学习分类器识别预测问题关闭最具信息量的特征。

提出的方法

• 收集并分析了2008年8月至2012年8月间公开的340万条Stack Overflow问题，其中包括101,691条被关闭的问题。
• 将被关闭的问题分为五种类别：重复、偏离主题、主观、非真实问题和过于局部化。
• 使用随机梯度提升树（SGBT）构建预测模型，特征集包括：用户资料、社区流程、文本风格和问题内容。
• 采用70%-30%的训练-测试划分，并结合10折交叉验证，通过准确率、F1分数和AUC评估模型性能。
• 利用SGBT的特征重要性分析识别出主要预测因子，包括Stack Overflow URL、代码片段长度、标题长度、帖子得分和账户年龄。
• 通过逐步添加特征集的方式，评估各特征集对模型性能的贡献。

实验结果

研究问题

• RQ1 在为期四年的期间内，Stack Overflow上‘关闭’问题的类型与频率具有哪些关键特征与趋势？
• RQ2 不同关闭原因下，‘关闭’问题的受欢迎程度与信息价值如何变化，特别是主观类问题？
• RQ3 导致问题关闭率上升的因素有哪些？这些因素与用户增长和Moderation工作量之间有何关联？
• RQ4 在多大程度上，可通过用户、内容和社区特征，利用机器学习在问题发布时预测其是否会被关闭？
• RQ5 哪些特征最能预测问题被关闭？这些特征在不同关闭类型之间有何差异？

主要发现

• 被关闭的主观类问题仍具有较高的信息价值，并在用户中保持高度受欢迎，挑战了‘被关闭问题质量低下’的假设。
• 被关闭问题的比例随时间推移而上升，且与新注册用户数量呈正相关。
• 社区参与问题关闭的意愿随时间下降，导致Moderation任务处理时间延长。
• 被标记为‘重复’和‘偏离主题’的问题更容易受到声誉操控，表明投票系统可能存在被操纵的风险。
• 预测模型整体准确率达到73%，随着更多特征集的加入，F1分数和AUC逐步提升。
• 最重要的预测特征包括：存在Stack Overflow URL、代码片段长度、标题长度、帖子得分和账户年龄；标题越短、得分越低，问题被关闭的可能性越高。