[論文レビュー] Estimating Network Effects Using Naturally Occurring Peer Notification Queue Counterfactuals

Craig Tutterow, Guillaume Saint-Jacques|arXiv (Cornell University)|Feb 19, 2019

Advanced Causal Inference TechniquesMathematics参考文献 21被引用数 20

ひとこと要約

本稿では、LinkedInのようなオンラインプラットフォームにおける自然に発生するピア通知キューの順序を、実験的介入を伴わずにネットワーク効果を推定するための外生的変動の源として使用することを提案する。スケーラブルなシステムにおけるメッセージのランダムに似た順序を活用することで、著者たちは2つの自然実験を同定し、ユーザーの関与に顕著なピアの影響が存在することを明らかにした。標準的な固定効果モデルは、これらの効果を最大で2.7倍まで過大評価していることが示された。

ABSTRACT

Randomized experiments, or A/B tests are used to estimate the causal impact of a feature on the behavior of users by creating two parallel universes in which members are simultaneously assigned to treatment and control. However, in social network settings, members interact, such that the impact of a feature is not always contained within the treatment group. Researchers have developed a number of experimental designs to estimate network effects in social settings. Alternatively, naturally occurring exogenous variation, or 'natural experiments,' allow researchers to recover causal estimates of peer effects from observational data in the absence of experimental manipulation. Natural experiments trade off the engineering costs and some of the ethical concerns associated with network randomization with the search costs of finding situations with natural exogenous variation. To mitigate the search costs associated with discovering natural counterfactuals, we identify a common engineering requirement used to scale massive online systems, in which natural exogenous variation is likely to exist: notification queueing. We identify two natural experiments on the LinkedIn platform based on the order of notification queues to estimate the causal impact of a received message on the engagement of a recipient. We show that receiving a message from another member significantly increases a member's engagement, but that some popular observational specifications, such as fixed-effects estimators, overestimate this effect by as much as 2.7x. We then apply the estimated network effect coefficients to a large body of past experiments to quantify the extent to which it changes our interpretation of experimental results. The study points to the benefits of using messaging queues to discover naturally occurring counterfactuals for the estimation of causal effects without experimenter intervention.

研究の動機と目的

• ランダム化A/Bテストに依存せずに、ソーシャルプラットフォームにおけるピアネットワーク効果を推定すること。
• ネットワークのランダム化に伴うコストと倫理的懸念を軽減するため、自然に発生する外生的変動を活用すること。
• 特にお知らせキューの順序のようなスケーラブルなエンジニアリングアーティファクトを、有効な反事実的条件の源として同定すること。
• 従来の観察的モデル、たとえば固定効果推定器がネットワーク効果推定に与えるバイアスを定量化すること。
• 通知キューが大規模システムにおける自然実験の発見メカニズムとして実用的に有効であることを示すこと。

提案手法

• 大規模なオンラインシステム内のお知らせキューの順序に内在するランダム性を、外生的変動の源として活用する。
• メッセージ配信順序が処理群と対照群への準ランダム割り当てを生じさせるLinkedIn上での2つの自然実験を同定する。
• メッセージ受信タイミングを、ピアのメッセージ受信タイミングとの相対関係として、因果的暴露の代理指標として用いることで、因果推論を可能にする。
• 構造的エコノメトリックモデルを適用し、未観測の異質性を制御した上でピア効果係数を推定する。
• 自然実験に基づく推定結果と、標準的な固定効果モデルの結果を比較し、バイアスを評価する。
• 推定されたネットワーク効果を過去の実験データに適用することで、過去の結果を再評価し、発見を検証する。

実験結果

リサーチクエスチョン

• RQ1 通知キュー順序の自然に発生する変動は、ピア効果を推定するための有効な外生的変動源として機能するか？
• RQ2 ピアの影響が存在する状況で、固定効果推定器のような標準的な観察的モデルは、ネットワーク効果をどのように推定するか？
• RQ3 従来のモデリング手法がネットワーク効果推定に与えるバイアスの大きさはどの程度か？
• RQ4 ネットワーク効果は、ソーシャルプラットフォームにおける過去のA/Bテスト結果の解釈にどの程度影響を及えるか？
• RQ5 通知キューのようなエンジニアリングアーティファクトは、スケールに応じて自然実験を体系的に発見するのに活用可能か？

主な発見

• ピアからのメッセージ受信は、ユーザーがプラットフォーム上でその後に示す関与を顕著に増加させる。
• 固定効果推定器は、自然実験の反事実的条件から得られた推定値と比較して、ピアメッセージの因果的影響を最大で2.7倍まで過大評価している。
• 通知キュー順序は、実験的操作なしに有効な因果推論を可能にする信頼性の高い外生的変動の源である。
• 本研究では、ソーシャルネットワーク環境における観察的モデルを用いることで、ネットワーク効果が系統的に低く評価されたり歪められたりすることが明らかになった。
• 推定されたネットワーク効果係数を過去の実験に適用することで、過去のA/Bテスト結果の解釈が著しくバイアスを含む可能性があることが示された。
• 本アプローチは、大規模オンラインシステムにおけるピアの影響を推定するためのスケーラブルで低コストな代替手法を提供する。