[論文レビュー] Analyzing multilevel experiments in the presence of peer effects

Guillaume Basse, Avi Feller|arXiv (Cornell University)|Aug 24, 2016

Advanced Causal Inference Techniques被引用数 3

ひとこと要約

本稿は、異なる世帯規模を伴う多段階実験における不偏推定量を提案し、個人ベースと世帯ベースの重み付け推定量を比較し、適切な標準誤差を用いる場合、線形回帰と無作為化推論の間で等価性を示している。実世界の欠席率介入において顕著なスプライバー効果が検出され、シミュレーションと実証分析を通じて手法の妥当性が検証された。

ABSTRACT

Multilevel or two-stage randomization is a powerful design for estimating treatment effects in the presence of social interactions. Our motivating example is a multilevel randomized trial evaluating an intervention to reduce student absenteeism in the School District of Philadelphia. In that experiment, households with multiple students were first assigned to treatment or control; then, in treated households, one student was randomly assigned to treatment. Using this example, we highlight key considerations for analyzing multilevel experiments in practice. Our first contribution is to address additional complexities that arise when household sizes vary; in this case, researchers must decide between assigning equal weight to households or equal weight to individuals. We propose unbiased estimators for a broad class of individual- and household-weighted estimands, with corresponding theoretical and estimated variances. Our second contribution is to connect two common approaches for analyzing multilevel designs: linear regression and randomization inference. We show that, with suitably chosen standard errors, these two approaches yield identical point and variance estimates, which is somewhat surprising given the complex randomization scheme. Finally, we explore options for incorporating covariates to improve precision and confirm our analytic results via simulation studies. We apply these methods to the attendance study and find large, substantively meaningful spillover effects.

研究の動機と目的

• 世帯規模が異なる場合における多段階ラウンドロビン・トライアルにおける分析的課題、特に世帯と個人の等重量付けの選択について解決すること。
• 個人および世帯重み付き推定量の両方の不偏推定量と、それに対応する理論的および推定された分散を構築すること。
• 同伴効果を伴う複雑な多段階設計において、線形回帰と無作為化推論の間の正式な関係を確立すること。
• 推定の精度を向上させるための共変量補正戦略を評価すること。
• シミュレーション研究およびフィラデルフィアでの実世界の出席介入への応用を通じて、提案手法の妥当性を検証すること。

提案手法

• 異なった世帯規模を伴う多段階実験における個人および世帯重み付き推定量の不偏推定量を提案する。
• 推論を支援するため、これらの推定量の理論的および推定された分散を導出する。
• 適切に選ばれたロバスト標準誤差を用いた線形回帰が、複雑な無作為化スキーム下でも無作為化推論と同一の点推定および分散推定をもたらすことを示す。
• さまざまな設計条件下で提案された推定量の妥当性と精度向上を確認するため、シミュレーション研究を用いる。
• 特に処置効果に異質性がある状況において、推定精度を向上させるために共変量補正を組み込む。
• フィラデルフィアの生徒の欠席率に関する実際の多段階無作為化試験に、本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 同伴効果を伴う多段階実験において、世帯規模が不均一な場合、研究者はどのように処置効果を推定すべきか？
• RQ2 複雑な無作為化スキームを伴う多段階設計において、線形回帰と無作為化推論の関係は何か？
• RQ3 共変量補正は、同伴効果を伴う多段階実験の推定精度を向上させることができるか？また、どのように実装すべきか？
• RQ4 個人重み付き推定量と世帯重み付き推定量の選択は、バイアスと分散にどのような影響を及えるか？
• RQ5 社会的相互作用を伴う実世界の多段階実験では、スプライバー効果の大きさと方向性はどの程度検出可能か？

主な発見

• 個人および世帯重み付き推定量の両方の不偏推定量は、正しい理論的および推定された分散を伴い、有効な推論をもたらす。
• 適切なロバスト標準誤差を用いた線形回帰は、複雑な無作為化メカニズムにもかかわらず、無作為化推論と同一の点推定および分散推定をもたらす。
• 共変量補正は、多段階実験における処置効果推定の精度を向上させる。
• シミュレーション研究により、提案された推定量がさまざまな設計および結果の設定下でも妥当性と頑健性を確認した。
• フィラデルフィアの欠席率試行への実証的応用により、大きな実質的意味を持つスプライバー効果が検出され、教育的成果における強い同伴効果が示された。