[论文解读] Harnessing Natural Experiments to Quantify the Causal Effect of Badges

Tomasz Kuśmierczyk, Manuel Gomez-Rodriguez|arXiv (Cornell University)|Jul 25, 2017

Advanced Causal Inference Techniques参考文献 3被引用 4

一句话总结

本文提出了一种基于生存分析的因果推断框架，用于量化首次徽章对在线问答平台用户行为的因果影响，利用 Stack Overflow 延迟发放徽章的自然实验。研究发现，仅当行为的初始效用较低时，徽章才会显著影响用户行为；而对于有效徽章，它们通过加速用户贡献，提升了社区层面的平台运行效率。

ABSTRACT

A wide variety of online platforms use digital badges to encourage users to take certain types of desirable actions. However, despite their growing popularity, their causal effect on users' behavior is not well understood. This is partly due to the lack of counterfactual data and the myriad of complex factors that influence users' behavior over time. As a consequence, their design and deployment lacks general principles. In this paper, we focus on first-time badges, which are awarded after a user takes a particular type of action for the first time, and study their causal effect by harnessing the delayed introduction of several badges in a popular Q&A website. In doing so, we introduce a novel causal inference framework for badges whose main technical innovations are a robust survival-based hypothesis testing procedure, which controls for the utility heterogeneity across users, and a bootstrap difference-in-differences method, which controls for the random fluctuations in users' behavior over time. We find that first-time badges steer users' behavior if the utility a user obtains from taking the corresponding action is sufficiently low, otherwise, the badge does not have a significant effect. Moreover, for badges that successfully steered user behavior, we perform a counterfactual analysis and show that they significantly improved the functioning of the site at a community level.

研究动机与目标

• 理解首次徽章对在线社区用户行为的因果影响，传统方法缺乏反事实数据。
• 解决用户行为中效用异质性以及时间随机波动等挑战，这些因素会干扰因果推断。
• 开发一种面向首次徽章的、数据驱动的因果推断框架，避免对用户动机或行为机制做出强假设。
• 通过反事实分析评估徽章是否通过提升用户行为来改善社区层面的平台运行效率。
• 通过识别徽章有效引导行为的条件，为徽章设计提供可推广的一般性原则。

提出的方法

• 采用稳健的基于生存分析的假设检验程序，以考虑用户参与行为的效用异质性，将首次行动时间建模为生存过程。
• 使用自助法差分差分方法控制用户行为随时间的随机波动，比较徽章引入前后的时期。
• 该框架利用 Stack Overflow 中徽章延迟发放作为自然实验，将引入时间视为结构性干预。
• 对时间至悬赏和时间至首次回答的生存强度模型应用最大似然估计，分别对获得徽章和未获得徽章的条件估计参数。
• 利用估计的生存模型生成反事实模拟，预测若未引入徽章时的预期结果。
• 该方法应用于分析推广者（Promoter）、投资者（Investor）和标签编辑者（Tag Editor）徽章，评估其对悬赏提供和标签维基创建的影响。

实验结果

研究问题

• RQ1 首次徽章的引入是否因果性地影响了用户行为的时间，例如提供悬赏或回答问题？
• RQ2 在何种条件下——尤其是用户效用方面——首次徽章能有效引导用户行为？
• RQ3 首次徽章如何影响问答平台在社区层面的整体运行效率？
• RQ4 用户行为随时间的随机波动在多大程度上干扰了徽章效果的测量？
• RQ5 根据反事实分析，若无徽章，平台表现是否会更差？

主要发现

• 仅当行为的初始效用较低时，首次徽章才会显著影响用户行为；当效用已较高时，未观察到显著影响。
• 标签编辑者徽章在引入后立即提高了标签维基创建的速率，但随着时间推移，该效应减弱，因为热门标签已达到效用提升的阈值。
• 投资者徽章在非提问者提供悬赏时，缩短了悬赏提供和首次回答的时间，从而加快了响应速度。
• 对于无悬赏或由提问者自付悬赏的问题，反事实世界中首次回答时间延长，表明徽章缓解了整体响应能力下降的趋势。
• 反事实分析表明，投资者徽章通过抵消用户响应时间普遍变慢的趋势，改善了平台整体运行效率。
• 结果表明，徽章的有效性取决于用户效用，挑战了徽章普遍提升参与度的假设。