[論文レビュー] Causal inference from observational data: Estimating the effect of contributions on visitation frequency atLinkedIn

Iavor Bojinov, Ye Tu+2 more|arXiv (Cornell University)|Mar 18, 2019

Advanced Causal Inference Techniques参考文献 26被引用数 4

ひとこと要約

本稿では、観察データとしてのLinkedInのデータを用いて、ユーザーの寄与（例：投稿、メッセージ）が訪問頻度に及ぼす同時効果およびスプライルオーバー効果を推定するための因果推論手法を提案し、評価している。固定効果（FE）および二重にロバストな推定器は、単純な相関関係よりも優れていることが示され、モデルの誤指定下でもバイアスを低減する。公開寄与は正の因果効果を示し、私的寄与は適切な調整がなければ大きな負のバイアスを示す。

ABSTRACT

Randomized experiments (A/B testings) have become the standard way for web-facing companies to guide innovation, evaluate new products, and prioritize ideas. There are times, however, when running an experiment is too complicated (e.g., we have not built the infrastructure), costly (e.g., the intervention will have a substantial negative impact on revenue), and time-consuming (e.g., the effect may take months to materialize). Even if we can run an experiment, knowing the magnitude of the impact will significantly accelerate the product development life cycle by helping us prioritize tests and determine the appropriate traffic allocation for different treatment groups. In this setting, we should leverage observational data to quickly and cost-efficiently obtain a reliable estimate of the causal effect. Although causal inference from observational data has a long history, its adoption by data scientist in technology companies has been slow. In this paper, we rectify this by providing a brief introduction to the vast field of causal inference with a specific focus on the tools and techniques that data scientist can directly leverage. We illustrate how to apply some of these methodologies to measure the effect of contributions (e.g., post, comment, like or send private messages) on engagement metrics. Evaluating the impact of contributions on engagement through an A/B test requires encouragement design and the development of non-standard experimentation infrastructure, which can consume a tremendous amount of time and financial resources. We present multiple efficient strategies that exploit historical data to accurately estimate the contemporaneous (or instantaneous) causal effect of a user's contribution on her own and her neighbors' (i.e., the users she is connected to) subsequent visitation frequency. We apply these tools to LinkedIn data for several million members.

研究の動機と目的

• 観察データを用いて、ユーザーの寄与（公開および私的）が、自身およびその周囲のユーザーの訪問頻度に与える因果的効果を推定すること。
• A/Bテストの限界（高コスト、インfra構築の複雑さ、遅延効果）を補うために、歴史的データを活用すること。
• 特に固定効果および二重にロバストな推定器の、モデルの誤指定および観測されない交絡要因の下でのロバスト性を評価すること。
• LinkedIn内で因果推論を民主化し、メソドロジカルな厳密性を保証するため、スケーラブルで安全かつ標準化された内部プラットフォームの構築。
• 治療効果がユーザーのセグメントや寄与タイプによってどのように異なるかを特定し、今後のプロダクト戦略に活かすこと。

提案手法

• 寄与確率および訪問頻度を、観測された共変量、時間変動および時間不変の観測されない交絡要因、およびネットワーク上の隣接ユーザーの行動の関数としてモデル化する構造的モデルを用いる。
• 治療割り当てにおける選択バイアスを是正するため、逆確率重み付け（IPW）を適用する。
• アウトカム回帰と感受性スコアモデルを組み合わせた二重にロバストな推定器を採用し、いずれのモデルが正しく指定されていれば一貫性を保証する。
• ユーザー単位の観測されない時間不変の交絡要因を制御するため、固定効果（FE）および重み付き固定効果モデルを実装する。
• 寄与行動を処置およびアウトカム方程式に組み込むことでスプライルオーバー効果をモデル化し、公開および私的寄与に対して対数関数およびインジケータ関数を用いる。
• 真の値が既知のシミュレーションを用いて手法を検証し、時間不変および時間変動の観測されない交絡要因の下で、バイアスと精度を比較する。

実験結果

リサーチクエスチョン

• RQ1 観察データから推定される場合、ユーザーの公開または私的寄与が、その後の自身の訪問頻度に与える因果的効果は何か？
• RQ2 ユーザーの寄与は、その社会的ネットワーク上の隣接ユーザーの訪問頻度にどのように影響する（スプライルオーバー効果）か？
• RQ3 観測されない交絡要因が存在する状況で、IPW、二重にロバスト、固定効果といった異なる因果推論手法は、これらの効果をどの程度適切に推定できるか？
• RQ4 モデルの誤指定（例えば、誤った関数形や観測されない時間変動の交絡要因）は、因果推定の正確性にどのように影響するか？
• RQ5 集中化され、安全かつ標準化されたプラットフォームは、データサイエンティストが大規模に高精度な因果推論手法を信頼できる形で適用可能にするか？

主な発見

• 寄与と訪問頻度の相関は誤解を招くほど負の関係を示唆しているが、因果的手法では正の効果が明らかになる。
• 固定効果（FE）および重み付きFEモデルは、観測されない時間不変の交絡要因に起因するバイアスを顕著に低減し、時間不変の交絡要因が存在する場合、FEモデルは真の効果をほぼ完璧に推定する。
• 公開寄与については、同時効果が時間不変の場合は+6.93、時間変動の場合は+1.34と推定され、時間の経過とともに効果が減少するが正の影響を示す。
• 私的寄与については、時間不変の効果が-72.53と推定されるが、これは著しくバイアスがかかる。真の効果はFEモデルで-10.00と推定され、単純な手法では負の影響が過大評価されていることが示される。
• 二重にロバストな推定器およびFEモデルは、標準的なIPWよりもバイアス低減に優れており、特にモデルの誤指定下で顕著に優位である。
• シミュレーション研究により、FEモデルは観測されない時間不変の交絡要因に対してロバストであることが確認され、固定効果を含まないモデルでは真の値の5倍以上も大きな推定値が得られることがある。