[论文解读] Averaging Gone Wrong: Using Time-Aware Analyses to Better Understand Behavior

Samuel Barbosa, Dan Cosley+2 more|arXiv (Cornell University)|Mar 22, 2016

Social Media and Politics参考文献 56被引用 20

一句话总结

本文认为，对在线社区行为的聚合分析具有误导性，原因在于未考虑时间动态因素。通过按年度用户群组分析Reddit用户，并采用以用户为中心的时间参照，研究发现用户参与时长越长，其评论长度和活跃度越高——这与聚合趋势相反，源于辛普森悖论。该研究强调了在社交网络研究中采用时间感知方法的至关重要性。

ABSTRACT

Online communities provide a fertile ground for analyzing people's behavior and improving our understanding of social processes. Because both people and communities change over time, we argue that analyses of these communities that take time into account will lead to deeper and more accurate results. Using Reddit as an example, we study the evolution of users based on comment and submission data from 2007 to 2014. Even using one of the simplest temporal differences between users---yearly cohorts---we find wide differences in people's behavior, including comment activity, effort, and survival. Further, not accounting for time can lead us to misinterpret important phenomena. For instance, we observe that average comment length decreases over any fixed period of time, but comment length in each cohort of users steadily increases during the same period after an abrupt initial drop, an example of Simpson's Paradox. Dividing cohorts into sub-cohorts based on the survival time in the community provides further insights; in particular, longer-lived users start at a higher activity level and make more and shorter comments than those who leave earlier. These findings both give more insight into user evolution in Reddit in particular, and raise a number of interesting questions around studying online behavior going forward.

研究动机与目标

• 挑战在线社区研究中聚合性、时间无关分析的有效性。
• 通过考虑用户加入时间，探究用户行为随时间的演变。
• 证明忽略时间动态会导致关于用户活跃度与投入程度的误导性结论。
• 探讨用户留存时长对行为模式（如评论与发帖习惯）的影响。
• 强调基于群组和以用户为中心的时间参照在理解长期用户演化中的重要性。

提出的方法

• 群组分析：根据用户首次可见活动的年份（如2007年、2008年等）对Reddit用户进行分组。
• 将按日历时间的聚合趋势与按用户留存期的群组特定趋势进行比较。
• 使用用户参照时间：以每位用户的首次活动日期为基准衡量行为，而非日历时间。
• 分析各群组及随时间推移的评论长度、发帖频率和评论与发帖比率。
• 应用统计技术检测并解释悖论性趋势，如辛普森悖论。
• 聚焦于留存用户（活跃时间超过阈值的用户），以隔离长期行为演化与用户流失效应。

实验结果

研究问题

• RQ1 当按群组而非所有用户聚合分析时，用户发帖活跃度如何随时间变化？
• RQ2 用户在社区中的留存时长内，评论长度是增加还是减少？这与整体聚合趋势相比如何？
• RQ3 在社区中留存时间更长的用户，其评论与发帖比率如何演变？
• RQ4 群组层面的行为差异在多大程度上掩盖或扭曲了聚合数据中的整体趋势？
• RQ5 用户留存时长在多大程度上影响了在线社区中观察到的行为模式？

主要发现

• 尽管聚合分析显示平均评论长度随时间呈下降趋势，但每个群组的评论长度均随用户留存期稳步增长，体现了辛普森悖论。
• 在Reddit中留存时间更长的用户初始活跃度更高，且相比早期离开的用户，其发帖更频繁但评论更短。
• 留存时间更长的用户显著比新近留存的用户更活跃，且新群组并未在活跃度上实现追赶。
• 年轻群组中低活跃度留存用户的比例持续上升，表明用户参与模式随时间发生了转变。
• 留存时间更长的用户随时间推移逐渐以评论替代发帖，提高了评论与发帖比率，即使整体发帖活跃度保持稳定。
• 聚合视角扭曲了用户行为：留存用户平均活跃度的上升并非源于投入增加，而是由于早期低活跃用户提前退出。