[論文レビュー] The Bayesian Synthetic Control: Improved Counterfactual Estimation in the Social Sciences through Probabilistic Modeling

Elias Tuomaala|arXiv (Cornell University)|Oct 14, 2019

Advanced Causal Inference Techniques参考文献 13被引用数 4

ひとこと要約

本稿は、頻度主義的合成コントロール法（SCM）を階層ベイズモデルに置き換えることで、社会科学分野における反実仮想推定を改善する確率的枠組み、ベイジアン合成コントロール（BSC）を提案する。BSCは、潜在要因の推定にマルコフ連鎖モンテカルロ（MCMC）サンプリングを用い、事後分布を通じて不確実性を明示的にモデル化することで、有限標本における信頼区間の妥当性を保証し、過剰適合を低減する。実応用においては、予測精度が向上し、統計的有意性に関する結論がSCMとは異なる結果を示している。

ABSTRACT

Social scientists often study how a policy reform impacted a single targeted country. Increasingly, this is done with the synthetic control method (SCM). SCM models the country's counterfactual (non-reform or untreated) trajectory as a weighted average of other countries' outcomes. The method struggles to quantify uncertainty; eg. it cannot produce confidence intervals. It is also suspect to overfit. We propose an alternative method, the Bayesian synthetic control (BSC), which lacks these flaws. Using MCMC sampling, we implement the method for two previously studied datasets. The proposed method outperforms SCM in a simple test of predictive accuracy and casts some doubt on significance of prior findings. The studied reforms are the German reunification of 1990 and the California tobacco legislation of 1988. BSC borrows its causal model, the linear latent factor model, from the SCM literature. Unlike SCM, BSC estimates the latent factors explicitly through a dimensionality reduction. All uncertainty is captured in the posterior distribution so that, unlike for SCM, credible intervals are easily derived. Further, BSC's reliability on the target panel dataset can be assessed through a posterior predictive check; SCM and its frequentist derivatives use up the required information while testing statistical significance.

研究の動機と目的

• 合成コントロール法（SCM）の限界、特に不確実性の定量的評価ができないことや過剰適合への感受性を是正すること。
• 治療効果を完全な事後推論でモデル化するベイジアン枠組みを構築し、有限標本における信頼区間と不確実性の定量的評価を可能にすること。
• 事後予測チェックとリラベル技術を用いたモデル妥当性の向上を図り、これは頻度主義的SCMには存在しない。
• ドイツ統一（1990年）とカリフォルニア州の提案99号（1988年）の2つの事例を通じて、手法の実用的有効性を示すこと。
• BSCが、過去のSCMベースの研究とは異なる統計的有意性の結論を導く可能性を示し、因果推論における手法感受性の重要性を強調すること。

提案手法

• BSCは、SCMと共通する線形潜在要因モデルを因果構造として採用するが、潜在要因の推定を次元削減を用いて明示的に行う。
• 階層ベイズモデルを用いて、治療効果と潜在要因の推移を同時に推定し、事前分布を組み込むことで推定を正則化する。
• マルコフ連鎖モンテカルロ（MCMC）サンプリングを用いて、完全な事後分布からの抽出を実施し、不確実性の定量的評価と信頼区間の計算を可能にする。
• モデル妥当性は、事後予測チェックとリラベル技術により評価され、これらは適合した事後分布下で観測データを再現できるかをテストする。
• 潜在要因の数は、WAIC（和田＝赤池情報量基準）を用いて選択されるが、論文ではベイジアンモデル平均がより望ましいと指摘している。
• 欠損データは、追加の被験単位として扱うことで自然に処理され、データの柔軟性が向上する。

実験結果

リサーチクエスチョン

• RQ1 ベイジアン合成コントロール法は、実世界の応用において、頻度主義的合成コントロール法よりもより高い反実仮想予測精度を達成するか？
• RQ2 ベイジアンアプローチは、SCMとは異なり、治療効果の有限標本における有効な信頼区間を提供できるか？
• RQ3 ドイツ統一およびカリフォルニア州の提案99号の事例において、BSCの統計的有意性の評価は、過去のSCMベースの研究とどのように異なるか？
• RQ4 事後予測チェックとリラベル技術は、合成コントロール設定におけるモデル妥当性の向上にどの程度寄与するか？
• RQ5 BSCフレームワークは、実装の再設計なしに、複数の被験単位や欠損データの処理を拡張可能か？

主な発見

• ドイツ統一の事例では、BSCが単純な予測精度テストにおいてSCMを上回り、頻度主義的手法に過剰適合の兆候がある可能性を示唆した。
• カリフォルニア州の提案99号の事例では、BSCは、改革後大部分の期間において治療効果が有意でないことを示したが、これはAbadieら（2015）の結果とは対照的であり、Ben-Michaelら（2018）が有意性を否定する結論を導いたのと整合的であった。
• 2000年には、BSCは治療効果がわずかに有意であると特定した。これは、累積的効果が時間の経過とともにのみ統計的に検出可能であることを示している。
• BSCにおける事後予測チェックは、ドイツ統一の事例において、モデルが観測データを妥当に再現できることを示し、モデル妥当性を支持した。
• BSCの信頼区間は有限標本において有効であったのに対し、SCMが仮定する漸近的信頼区間とは異なり、小標本における政策評価の信頼性が向上した。
• 本手法は計算上の実行可能性と柔軟性を示し、欠損データを別個の被験単位として扱うことで、その処理が可能であった。