[論文レビュー] Unbiased Estimation and Sensitivity Analysis for Network-Specific Spillover Effects: Application to An Online Network Experiment

Naoki Egami|arXiv (Cornell University)|Aug 28, 2017

Social Capital and Networks被引用数 7

ひとこと要約

この論文は、標準推定量をバイアスさせる未観測のオフラインネットワークを考慮し、オンライン実験におけるネットワーク固有のスプライバー効果のバイアス補正推定法と感受性分析手法を開発する。未観測のオフラインネットワークが存在する状況において、オンラインネットワークスプライバー効果の正確なバイアス表現を導出し、非パラメトリックおよびパラメトリック感受性分析を適用することで、実際の政治的動員実験においてTwitter固有のスプライバー推定値が未観測の対面ネットワークに極めて感受しやすいことが示された。

ABSTRACT

Online network experiments have become widely-used methods to estimate spillover effects and study online social influence. In such experiments, the spillover effects often arise not only through an online network of interest but also through a face-to-face network. Social scientists are therefore often interested in measuring the importance of online human interactions by estimating the spillover effects specific to the online network, separately from spillover effects attributable to the offline network. However, the unbiased estimation of these network-specific spillover effects requires an often-violated assumption that researchers observe all relevant networks; they cannot observe the offline network in many applications. In this paper, we derive an exact expression of bias due to unobserved networks. Unlike the conventional omitted variable bias, this bias for the network-specific spillover effect remains even when treatment assignment is randomized and when unobserved networks and the network of interest are independently generated. By incorporating this bias into the estimation, we also develop parametric and nonparametric sensitivity analysis methods, with which researchers can examine the robustness of empirical findings to the possible existence of unmeasured networks. We analyze a political mobilization experiment on the Twitter network and find that an estimate of the Twitter-specific spillover effect is sensitive to assumptions about an unobserved face-to-face network.

研究の動機と目的

• 未観測のオフラインネットワークが結果を混同する場合に、オンライン実験におけるネットワーク固有のスプライバー効果を推定する課題に対処すること。
• 未観測のネットワークがオンラインネットワークスプライバー効果の推定に引き起こすバイアスを特定および定量すること。
• 未測定のネットワーク構造に対する推定結果の頑健性を評価できる感受性分析手法を開発すること。
• オンラインでの社会的影響の重要性をオフラインの社会的影響とは独立して評価するためのフレームワークを提供すること。

提案手法

• 未観測のネットワークによるネットワーク固有のスプライバー効果推定におけるバイアスの正確な数学的表現を導出し、従来の変数省略バイアスとは異なるものであることを示す。
• 導出したバイアス表現を組み込んだパラメトリックおよび非パラメトリック感受性分析手法を提案し、未観測のネットワークに関する異なる仮定の下での結果の頑健性をテストする。
• 潜在的アウトカムフレームワークを用いて、観測済みのオンラインネットワークと未観測のオフラインネットワークを含む複数のネットワークにおけるスプライバー効果をモデル化する。
• 無作為化処置割り当てを伴う実世界のTwitterベースの政治的動員実験に、バイアス補正および感受性分析を適用する。
• 未観測ネットワークと観測済みネットワークが確率的に独立であるという仮定を形式化し、無作為化下でもバイアスが継続することを示す。
• バイアス表現を推定手順に統合し、研究者が結果が妥当な未観測ネットワーク構造に対してどれほど感受するかを評価できるようにする。

実験結果

リサーチクエスチョン

• RQ1 無作為化オンライン実験において、未観測のオフラインネットワークがオンラインネットワーク固有のスプライバー効果推定にどのようにバイアスをもたらすか。
• RQ2 実証的推定値が、未観測の対面ネットワークに関する妥当な仮定に対してどれほど頑健であるか。
• RQ3 未観測のネットワークがネットワーク固有のスプライバー効果推定値に与える影響を定量化できる感受性分析手法を開発できるか。
• RQ4 処置割り当てが無作為化され、ネットワークが独立に生成された場合に、未観測のネットワークが引き起こすバイアスの大きさはどの程度か。
• RQ5 提案されたバイアス補正および感受性分析手法は、実世界のオンライン社会実験でどのように機能するか。

主な発見

• 未観測のオフラインネットワークによるオンラインネットワーク固有のスプライバー効果推定のバイアスは、処置割り当てが無作為化され、ネットワークが独立に生成された場合でも継続する。
• 導出されたバイアス表現は従来の変数省略バイアスとは異なり、標準的な実験条件下でも非ゼロのまま残る。
• 感受性分析により、政治的動員実験におけるTwitter固有のスプライバー効果推定値が未観測の対面ネットワークに関する仮定に極めて感受することが明らかになった。
• パラメトリックおよび非パラメトリック感受性分析手法は、未観測のネットワーク構造に対する結果の頑健性を効果的に定量化できた。
• Twitter実験からの実証的結果は、未観測のオフライン相互作用に関する妥当な仮定の下では、オンライン社会的影響に関する結論が逆転しうることを示した。
• 本研究は、オンライン実験におけるネットワーク固有のスプライバー効果を解釈する際、未観測のネットワークを考慮することが極めて重要であることを強調した。