[论文解读] How Community Feedback Shapes User Behavior

Justin Cheng, Cristian Danescu-Niculescu-Mizil+1 more|arXiv (Cornell University)|May 6, 2014

Opinion Dynamics and Social Influence参考文献 39被引用 58

一句话总结

本研究分析了在线新闻社区中同龄人反馈如何影响用户行为，数据来源于四个大型基于评论的平台。研究发现，负面反馈会增加发帖频率并降低内容质量，而正面反馈则无显著影响——这与操作性条件反射理论相悖，揭示了反馈对社区健康影响中的关键不对称性。

ABSTRACT

Social media systems rely on user feedback and rating mechanisms for personalization, ranking, and content filtering. However, when users evaluate content contributed by fellow users (e.g., by liking a post or voting on a comment), these evaluations create complex social feedback effects. This paper investigates how ratings on a piece of content affect its author's future behavior. By studying four large comment-based news communities, we find that negative feedback leads to significant behavioral changes that are detrimental to the community. Not only do authors of negatively-evaluated content contribute more, but also their future posts are of lower quality, and are perceived by the community as such. Moreover, these authors are more likely to subsequently evaluate their fellow users negatively, percolating these effects through the community. In contrast, positive feedback does not carry similar effects, and neither encourages rewarded authors to write more, nor improves the quality of their posts. Interestingly, the authors that receive no feedback are most likely to leave a community. Furthermore, a structural analysis of the voter network reveals that evaluations polarize the community the most when positive and negative votes are equally split.

研究动机与目标

• 理解用户反馈（点赞/点踩）如何影响在线社区中内容作者的未来行为。
• 检验社区反馈是否符合操作性条件反射理论，即奖励可促进更好行为，惩罚可减少不良行为。
• 量化反馈对作者未来贡献的数量与质量的影响。
• 探究投票者网络的结构性模式，这些模式可能放大或缓解反馈效应。
• 揭示正面与负面反馈在塑造用户行为和社区动态方面的不对称性。

提出的方法

• 采用倾向得分匹配方法，比较获得相似反馈水平但反馈类型不同（正面 vs. 负向）的作者，控制基线差异。
• 使用基于人工标注数据训练的机器学习模型，估算评论的文本质量，实现对发帖质量的客观测量。
• 分析包含4200万条评论和1.4亿次投票的四个大型基于评论的新闻社区，以确保统计功效和结果的普适性。
• 构建并分析热门帖子周围的投票者网络，研究反馈聚集与极化模式。
• 通过众包实验验证点赞比例作为社区反馈代理指标的可靠性。
• 追踪作者随时间的行为变化，包括发帖频率、未来发帖质量，以及后续对其他用户的点踩行为。

实验结果

研究问题

• RQ1 收到负面反馈后，作者在发帖数量和质量方面如何影响其未来的发帖行为？
• RQ2 与正面反馈相比，负面反馈在影响作者行为方面有何差异，特别是在内容质量和贡献频率方面？
• RQ3 与获得反馈的作者相比，未获得反馈的作者在行为上有多大差异？
• RQ4 投票者网络的结构——特别是投票极化——如何影响反馈效应的传播？
• RQ5 在现实的在线社区中，反馈机制在多大程度上符合操作性条件反射理论的预测？

主要发现

• 与获得正面反馈或无反馈的作者相比，收到负面反馈的作者在未来发帖频率显著更高。
• 根据基于人工判断训练的机器学习模型测量，收到负面反馈的作者所发内容质量更低。
• 负面反馈显著增加了作者随后点踩其他用户的可能性，表明负面行为在社区中具有传播性。
• 正面反馈并未导致发帖增加或内容质量提升，表明其对行为无强化作用。
• 未获得反馈的作者最有可能离开社区，表明反馈——尤其是负面反馈——可能起到保留用户的作用。
• 当点赞与点踩数量基本平衡时，投票者网络的极化程度最高，表明均衡反馈可能加剧社会分化。