[論文レビュー] Using Ego-Clusters to Measure Network Effects at LinkedIn

Guillaume Saint-Jacques, Maneesh Varshney+2 more|arXiv (Cornell University)|Mar 20, 2019

Advanced Causal Inference Techniques参考文献 15被引用数 12

ひとこと要約

本稿では、LinkedInのようなソーシャルプラットフォームにおけるネットワーク効果をスケーラブルで低コストな方法で測定するためのエゴクラスターランダム化を提案する。ユーザーの行動はつながりに影響を受けるが、エゴ（焦点となるユーザー）とその直接のつながり（アラウンズ）をクラスタとして扱うことで、複雑なモデリングやプラットフォームの変更を回避しつつ、統計的パワーと代表性を維持し、ピア共有に起因するエンゲージメントの上昇といった下流の効果を効果的に検出できる。

ABSTRACT

A network effect is said to take place when a new feature not only impacts the people who receive it, but also other users of the platform, like their connections or the people who follow them. This very common phenomenon violates the fundamental assumption underpinning nearly all enterprise experimentation systems, the stable unit treatment value assumption (SUTVA). When this assumption is broken, a typical experimentation platform, which relies on Bernoulli randomization for assignment and two-sample t-test for assessment of significance, will not only fail to account for the network effect, but potentially give highly biased results. This paper outlines a simple and scalable solution to measuring network effects, using ego-network randomization, where a cluster is comprised of an "ego" (a focal individual), and her "alters" (the individuals she is immediately connected to). Our approach aims at maintaining representativity of clusters, avoiding strong modeling assumption, and significantly increasing power compared to traditional cluster-based randomization. In particular, it does not require product-specific experiment design, or high levels of investment from engineering teams, and does not require any changes to experimentation and analysis platforms, as it only requires assigning treatment an individual level. Each user either has the feature or does not, and no complex manipulation of interactions between users is needed. It focuses on measuring the one-out network effect (i.e the effect of my immediate connection's treatment on me), and gives reasonable estimates at a very low setup cost, allowing us to run such experiments dozens of times a year.

研究の動機と目的

• ソーシャルプラットフォームにおけるネットワーク効果がSUTVA（無干渉性の潜在的変数モデル）を破る問題に対処すること。
• 製品固有の設計やエンジニアリングコストを要しない、低コストでスケーラブルな解決策を提供し、エゴに影響を与える「1-outネットワーク効果」（つながりの影響）を測定すること。
• 強いモデリング仮定を避ける一方で、統計的パワーと母集団の代表性を維持すること。
• 既存のプラットフォームに最小限の干渉を伴いながら、年間数十回のネットワーク効果に関する実験を可能にすること。

提案手法

• エゴクラスタは、焦点となるユーザー（エゴ）とその直接的なネットワークメンバー（アラウンズ）から構成され、ランダム化のための自然なクラスタを形成する。
• 処置は個人単位で割り当てられる：各エゴは処置群またはコントロール群に属し、プラットフォームの既存のランダム化または分析パイプラインに変更は加えない。
• 外部のつながりによる干渉を低減するため、ユーザーのロス率（例：20%）を制限することで、クラスタの高い隔離性を確保する。
• 統計的有意性は、アウトカム指標に対して標準的な2標本t検定を用い、A/Aテストにより誤検出をフィルタリングする。
• 本手法は「1-outネットワーク効果」に焦点を当てる：エゴのアラウンズが処置されたことでエゴの行動がどのように変化するかを測定する。
• クラスタレベルでのランダム化に依存することで複雑なモデリングを回避しつつ、全体の母集団の代表性を保つ。

実験結果

リサーチクエスチョン

• RQ1 大規模なソーシャルプラットフォームにおいて、SUTVAの違反や主要なシステム変更なしにネットワーク効果をどのように測定できるか？
• RQ2 エゴクラスターランダム化は、つながりを通じたフィーチャーの影響がユーザー行動に及ぼす意味のある下流的影響を検出できるか？
• RQ3 エンゲージメント向上を最適化する際、直接効果（メイン効果）と間接効果（ピア効果）の間でどのようなトレードオフが生じるか？
• RQ4 直接効果がほとんどない場合でも、コンテンツの構成にわずかな変更を加えることで、測定可能なネットワーク効果を誘発できるか？
• RQ5 著名なユーザーからフィードバックを低参加ユーザーに再配分することで、ネットワーク効果を介して全体のプラットフォームエンゲージメントを向上させられるか？

主な発見

• エゴのアラウンズがコンテンツ推薦アルゴリズムで処置された場合、直接のエンゲージメントが5%低下したものの、エゴのエンゲージメントは3.1%上昇（p=0.03）し、エゴクラスターランダム化が有意に検出できた。
• アラウンズのコンテンツ構成を変更して共有量を同等に保った場合、エゴのバイラル行動が7%上昇（p=0.1）した。これは、直接指標が横ばいでも間接的なネットワーク効果が存在することを示している。
• 著名なユーザーからフィードバックを低参加ユーザーに再配分した結果、エゴのコンテンツ寄与が0.3%上昇（p=0.09）、いいねが1%上昇（p=0.09）した。これはフィードバック再配分によるポジティブなネットワーク効果を示唆している。
• 20%のロス率であっても、統計的パワーを維持でき、残りのトラフィックでは平均エンゲージメントと次数が15–30%低下したが、結論は依然として堅牢であった。
• 本手法により、年間数十回のネットワーク効果実験が、最小限のエンジニアリングコストで実施可能であり、既存の実験プラットフォームの変更なしに可能となった。
• A/Aテストにより結果の信頼性が確認され、誤検出をフィルタリングするための有意な発見が適切に除外された。