[论文解读] Estimating Network Effects Using Naturally Occurring Peer Notification Queue Counterfactuals

Craig Tutterow, Guillaume Saint-Jacques|arXiv (Cornell University)|Feb 19, 2019

Advanced Causal Inference TechniquesMathematics参考文献 21被引用 20

一句话总结

本文提出利用LinkedIn等在线平台中自然发生的同伴通知队列排序，作为外生变异的来源，以在不进行实验干预的情况下估计网络效应。通过利用可扩展系统中消息排序的类随机特性，作者识别出两个自然实验，揭示了同伴影响对用户参与度的显著作用，表明标准固定效应模型可能将这些效应高估最多达2.7倍。

ABSTRACT

Randomized experiments, or A/B tests are used to estimate the causal impact of a feature on the behavior of users by creating two parallel universes in which members are simultaneously assigned to treatment and control. However, in social network settings, members interact, such that the impact of a feature is not always contained within the treatment group. Researchers have developed a number of experimental designs to estimate network effects in social settings. Alternatively, naturally occurring exogenous variation, or 'natural experiments,' allow researchers to recover causal estimates of peer effects from observational data in the absence of experimental manipulation. Natural experiments trade off the engineering costs and some of the ethical concerns associated with network randomization with the search costs of finding situations with natural exogenous variation. To mitigate the search costs associated with discovering natural counterfactuals, we identify a common engineering requirement used to scale massive online systems, in which natural exogenous variation is likely to exist: notification queueing. We identify two natural experiments on the LinkedIn platform based on the order of notification queues to estimate the causal impact of a received message on the engagement of a recipient. We show that receiving a message from another member significantly increases a member's engagement, but that some popular observational specifications, such as fixed-effects estimators, overestimate this effect by as much as 2.7x. We then apply the estimated network effect coefficients to a large body of past experiments to quantify the extent to which it changes our interpretation of experimental results. The study points to the benefits of using messaging queues to discover naturally occurring counterfactuals for the estimation of causal effects without experimenter intervention.

研究动机与目标

• 在不依赖随机A/B测试的情况下，估计社交平台中的同伴网络效应。
• 通过利用自然发生的外生变异，降低网络随机化带来的成本和伦理问题。
• 识别可扩展的工程实现——特别是通知队列排序——作为有效反事实的来源。
• 量化传统观察模型（如固定效应估计器）在估计网络效应时引入的偏差。
• 展示通知队列作为大规模系统中自然实验发现机制的实际效用。

提出的方法

• 利用大规模在线系统中通知队列排序的内在随机性作为外生变异的来源。
• 在LinkedIn上识别出两个自然实验，其中消息传递顺序创造了准随机的处理与对照条件分配。
• 将消息接收时间相对于同伴消息的时间作为因果暴露的代理变量，从而实现因果推断。
• 应用结构计量经济模型来估计同伴效应系数，同时控制未观测异质性。
• 将基于自然实验估计的结果与标准固定效应模型的结果进行比较，以评估偏差。
• 通过将估计的网络效应应用于历史实验数据，验证发现并重新评估先前结果。

实验结果

研究问题

• RQ1 自然发生的通知队列排序变异是否可作为估计同伴效应的有效外生变异来源？
• RQ2 在存在同伴影响的情况下，标准观察模型（如固定效应估计器）在估计网络效应时表现如何？
• RQ3 传统建模方法在估计网络效应时引入的偏差程度有多大？
• RQ4 网络效应在多大程度上改变了社交平台中先前A/B测试结果的解释？
• RQ5 能否系统性地利用通知队列等工程实现，在大规模系统中发现自然实验？

主要发现

• 从同伴处接收到消息会显著提高用户在平台上的后续参与度。
• 与基于自然实验反事实的估计相比，固定效应估计器将同伴消息的因果影响高估了最多2.7倍。
• 通知队列排序提供了可靠的外生变异来源，使无需实验操作即可实现有效的因果推断。
• 本研究表明，在社交网络环境中使用标准观察模型时，网络效应会被系统性地低估或扭曲。
• 将估计的网络效应系数应用于历史实验，揭示了先前对A/B测试结果的解释可能存在显著偏差。
• 该方法为在大规模在线系统中估计同伴影响提供了一种可扩展、低成本的替代方案，无需随机实验。