[論文レビュー] Double Machine Learning based Program Evaluation under Unconfoundedness

Michael C. Knaus|Econstor (Econstor)|Mar 6, 2020

Advanced Causal Inference Techniques被引用数 4

ひとこと要約

本稿は、unconfoundednessのもとで、ダブルマシンラーニング（DML）に基づくプログラム評価における個別化された処置効果推定の安定化を目的として、正規化されたDRラーナー（NDRラーナー）を提案する。個別化された正規化を逆確率重みに適用することにより、NDRラーナーは標準的なDRラーナーが生じる極端な推定値を低減し、有限標本における頑健性を向上させる。一方で、DMLの柔軟性とダブルロバスト性を維持し、スイスのアクティブ・ラーブァー・マーケット・ポリシー（ALMP）プログラムにおける平均的、異質的、最適な処置効果の推定に適している。

ABSTRACT

This paper reviews, applies and extends recently proposed methods based on Double Machine Learning (DML) with a focus on program evaluation under unconfoundedness. DML based methods leverage flexible prediction models to adjust for confounding variables in the estimation of (i) standard average effects, (ii) different forms of heterogeneous effects, and (iii) optimal treatment assignment rules. An evaluation of multiple programs of the Swiss Active Labour Market Policy illustrates how DML based methods enable a comprehensive program evaluation. Motivated by extreme individualised treatment effect estimates of the DR-learner, we propose the normalised DR-learner (NDR-learner) to address this issue. The NDR-learner acknowledges that individualised effect estimates can be stabilised by an individualised normalisation of inverse probability weights.

研究の動機と目的

• 因果マシンラーニングの応用におけるDRラーナーによる個別化処置効果推定の有限標本不安定性を是正すること。
• 推定の信頼性を向上させるために、逆確率重みに個別化された正規化を適用する方法の開発。
• 現実の政策設定における包括的プログラム評価に向けたDMLベースの手法の実用的有用性の提示。
• 柔軟なマシンラーニングモデルを用いて平均効果、異質的効果、最適処置ルールを統一的フレームワークで推定する。
• スイスのアクティブ・ラーブァー・マーケット・ポリシー（ALMP）をDML手法で評価し、カウンセラーの特徴が処置効果の変動に果たす役割を評価すること。

提案手法

• NDRラーナーは、二重ロバストスコアにおける逆確率重みに個別化された正規化を適用し、個別化された処置効果推定の安定化を図る。
• これは、潜在的アウトカムと処置確率をマシンラーニングで推定することで、ダブルロバスト推定を実現するDRラーナーの枠組みを発展させたものである。
• この手法は、平均効果、異質的効果、最適処置ルールという複数の推定対象に対して同一の二重ロバストスコアを活用し、計算的および概念的統合を実現する。
• 推定は、有効な推論を保証するためのクロスフィッティングを用い、因果パラメータの推定後にはt検定とOLSが用いられる。
• アプローチは、標準データセットを用いてスイスの4つのALMPプログラムに適用され、モデル選択と交離調整は柔軟なマシンラーニングによって処理される。
• 最適処置割り当てルールは、NDRラーナーの出力に基づくポリシー学習手順を用いて推定される。

実験結果

リサーチクエスチョン

• RQ1 DRラーナーは有限標本において極端な個別化された処置効果推定値を生じるか。その原因は何か？
• RQ2 逆確率重みの個別化された正規化は、個別化された処置効果推定の安定性と信頼性を向上させるか？
• RQ3 DMLベースの手法は、伝統的な計量経済学的手法と比較して、プログラム評価における平均的、異質的、最適な処置効果の推定において、どのように異なるか？
• RQ4 スイスのALMP文脈において、カウンセラーの特徴は個別化された処置効果の変動を説明する役割を果たすか？
• RQ5 この設定において、交差検証された最適処置割り当てルールと全標本ルールの一致度はどの程度か？

主な発見

• DRラーナーは極端な個別化された処置効果推定値を生じ、一部の値が理論的に可能な範囲外に達しており、有限標本における不安定性を示唆している。
• NDRラーナーは逆確率重みに個別化された正規化を適用することで、個別化された処置効果推定値の安定化に成功し、極端な値を低減した。
• 分類分析において、カウンセラー関連変数は処置効果の変動にほとんど影響を及ぼさず、表の下半分に位置するすべての係数がそのように示された。
• 決定木を用いた最適処置割り当てルールの推定において、交差検証済みルールと全標本ルールの間で中程度の一致が確認され、5変数および16変数モデルの両方で一致率は70％以上であった。
• DRラーナーとNDRラーナーのIATEの同時分布および周辺分布を比較した結果、後者がより集中的かつ現実的である効果推定値を生じた。
• 本研究は、DMLベースの手法がunconfoundednessのもとで、複数のプログラムを包括的かつ計算的に効率的に評価可能であり、強力な統計的性質を備え、複数の推定対象にわたって二重ロバストスコアを再利用可能であることを確認した。