[論文レビュー] Evaluating Ex Ante Counterfactual Predictions Using Ex Post Causal Inference

Michael Gechter, Cyrus Samii+2 more|arXiv (Cornell University)|Jun 19, 2018

Advanced Causal Inference Techniques参考文献 64被引用数 10

ひとこと要約

本稿は、無作為化実験からの事後因果推論を用いて、最適な治療割り当ての事前反実仮説的予測を評価する意思決定理論的枠組みを提案する。この枠組みにより、構造モデル、低次元形式の外挿、専門家の意見といった手法の間で、現実世界の実験設定における福祉に基づくパフォーマンスを統計的に比較可能となり、外部の実験データを適切に集約すれば、モデル内推定値よりも信頼性の高い政策提言が得られることを示している。

ABSTRACT

We derive a formal, decision-based method for comparing the performance of counterfactual treatment regime predictions using the results of experiments that give relevant information on the distribution of treated outcomes. Our approach allows us to quantify and assess the statistical significance of differential performance for optimal treatment regimes estimated from structural models, extrapolated treatment effects, expert opinion, and other methods. We apply our method to evaluate optimal treatment regimes for conditional cash transfer programs across countries where predictions are generated using data from experimental evaluations in other countries and pre-program data in the country of interest.

研究の動機と目的

• 最適な治療割り当てのための事前政策提言を生成する手法の相対的パフォーマンスを評価する形式的で福祉に基づく枠組みを構築すること。
• 構造モデル、低次元形式の外挿、専門家の意見といった手法の間で、最適な治療割り当てを予測する際のパフォーマンスの差の統計的有意性を評価すること。
• モデルの誤特定が懸念される状況において、類似した文脈からの外部実験データが、文脈内モデル推定値を上回る性能を示すかどうかを評価すること。
• 純粋に統計的フィット度ではなく、福祉の目的に基づいた意思決定に焦点を当てた、より原則的で意思決定志向の立場から、政策評価における手法選択の根拠を提供すること。
• 個々の実験には平均処置効果の推定値よりも、特に文脈を跨いで集約された場合に、意思決定に役立つ情報がより多く含まれていることを示すこと。

提案手法

• プラナーが制約下で期待福祉を最大化するように政策を選択する枠組みは、線形の社会的福祉関数を用いて治療割り当ての提言を評価する。
• 2つの政策提言手法 l と m の間の福祉差 Δ^g_lm として定義される福祉差の測度を用いて、手法を比較する。この測度は、潜在的アウトカムの関数 g による重み付けを施した期待福祉差である。
• 選択確率をプロパティススコア p(W_i) を用いて補正するため、逆確率重み付けを用いて、観察データから福祉差を推定する。
• 一般化方法のモーメント（GMM）を用いて漸近正規性と推論を確立し、福祉差のスコア方程式から一貫した分散推定器を導出する。
• このアプローチにより、ターゲット文脈における無作為化実験からの実際の結果と比較することで、事前予測の事後評価が可能になる。
• この枠組みは、福祉パフォーマンスに基づくモデル平均化または選択を組み込み、複数の文脈への応用においてサイト選択バイアスに対処する。

実験結果

リサーチクエスチョン

• RQ1 無作為化実験からの事後因果推論を用いて、最適な治療割り当てのための異なる事前予測手法の相対的パフォーマンスを統計的に評価できるか？
• RQ2 実際の実験結果と比較した場合、構造モデル、低次元形式の外挿、専門家の意見は、福祉を最大化する治療割り当てを予測する際に、どのように比較されるか？
• RQ3 モデルの誤特定が懸念される状況において、類似した文脈からの外部実験データは、文脈内モデル推定値を上回る性能を示す程度はどの程度か？
• RQ4 福祉の目的に基づく意思決定理論的枠組みは、従来の統計的フィット度指標よりも、手法選択の根拠をより原則的かつ的確に提供できるか？
• RQ5 個々の実験に平均処置効果の推定値を超えて、意思決定に役立つ情報がどの程度含まれており、それがどのように文脈を跨いで集約できるか？

主な発見

• 提案手法は、2つの政策提言手法間の福祉差を一貫して推定でき、その推定値は漸近的に正規分布に従うため、相対的パフォーマンスに関する統計的推論が可能である。
• 事後評価により、モデルが誤特定されている場合でさえ、外部実験データに基づく低次元形式の手法が、内部的に妥当な文脈内構造モデルを上回ることが明らかになった。
• この枠組みは、ターゲット文脈に前処置データが限られている、あるいは識別力が弱い場合に特に、外部データに依存する手法が文脈内モデルを上回る福祉パフォーマンスを達成できることを示している。
• 本手法により、各無作為化実験は単一の平均処置効果の推定値よりも、特に処置反応の異質性をモデル化した場合に、より多くの意思決定に役立つ情報が含まれていることが特定された。
• 本研究で導出された福祉基準に基づくモデル平均化または選択は、標準的手法に比べて予測性能の向上をもたらす可能性がある。
• 本手法は、結果が福祉目的の選択に敏感であることに起因するため、社会的プラナーの目的を明示的に定義することが重要であることを強調する、政策提言のための手法の順位付けを原則的に行う手段を提供する。