[论文解读] Dynamics of Content Quality in Collaborative Knowledge Production

Emilio Ferrara, Nazanin Alipourfard+3 more|arXiv (Cornell University)|Jun 10, 2017

Expert finding and Q&A systems被引用 7

一句话总结

本研究利用2008年至2014年Stack Exchange的数据，分析协作式知识生产中内容质量的动态变化。研究发现，用户会话中存在短期质量下降现象——答案长度缩短、链接和代码行数减少、被采纳率降低；而长期用户资历则显著提升内容质量，表明认知疲劳与学习积累共同塑造用户表现。

ABSTRACT

We explore the dynamics of user performance in collaborative knowledge production by studying the quality of answers to questions posted on Stack Exchange. We propose four indicators of answer quality: answer length, the number of code lines and hyperlinks to external web content it contains, and whether it is accepted by the asker as the most helpful answer to the question. Analyzing millions of answers posted over the period from 2008 to 2014, we uncover regular short-term and long-term changes in quality. In the short-term, quality deteriorates over the course of a single session, with each successive answer becoming shorter, with fewer code lines and links, and less likely to be accepted. In contrast, performance improves over the long-term, with more experienced users producing higher quality answers. These trends are not a consequence of data heterogeneity, but rather have a behavioral origin. Our findings highlight the complex interplay between short-term deterioration in performance, potentially due to mental fatigue or attention depletion, and long-term performance improvement due to learning and skill acquisition, and its impact on the quality of user-generated content.

研究动机与目标

• 理解用户在协作式知识生产中的表现如何随时间演变。
• 探究短期会话动态与长期用户资历是否独立影响内容质量。
• 确定表现衰退是否由疲劳等认知因素或行为异质性导致。
• 评估经验丰富的用户是否始终产出比新手更高品质的内容。
• 为设计能够实时监控和优化用户表现的智能系统提供依据。

提出的方法

• 基于时间间隔将用户活动划分为会话，以隔离短期行为模式。
• 采用四个定量指标衡量答案质量：长度、代码行数、超链接数量以及提问者采纳率。
• 按用户资历将答案分组为十等分，以分析长期表现趋势。
• 通过比较相同会话长度下新手与资深用户的表现，隔离经验的影响。
• 应用统计分析检测质量指标在会话顺序与资历时长上的趋势。
• 通过比较会话内努力水平相近的用户，控制数据异质性影响。

实验结果

研究问题

• RQ1 在单一会话过程中，答案质量如何变化？
• RQ2 长期用户资历如何影响所生成答案的质量？
• RQ3 新手与资深用户是否表现出相似的短期表现衰退？
• RQ4 用户经验在多大程度上缓解或加剧短期质量下降？
• RQ5 认知因素（如疲劳与注意力耗竭）在内容质量动态中扮演何种角色？

主要发现

• 在单一会话中，每一轮后续答案均变得更短，代码行数和超链接数量更少，被采纳的可能性也更低，表明存在短期表现衰退。
• 资深用户在会话中首次回答的采纳率为39%，而新手仅为22%，相对差异达40%。
• 资深用户撰写的答案平均为72个词，新手为60个词，长度差异达20%。
• 答案中平均代码行数和超链接数量，资深用户也比新手高出20%。
• 即使资深用户在长时间会话中的最后一道答案，其质量仍超过新手的首道答案，凸显经验的长期优势。
• 随着用户资历增加，所有质量指标均呈现正向趋势，顶级十等分的资深用户有40%的答案被采纳，而经验最少的用户仅为25%。