[論文レビュー] What Is the Value Added by Using Causal Machine Learning Methods in a Welfare Experiment Evaluation?

Anthony Strittmatter|arXiv (Cornell University)|Dec 16, 2018

Advanced Causal Inference Techniques被引用数 6

ひとこと要約

本研究では、因果的機械学習（CML）手法が、ジョブズ・ファースト福祉実験を分析する際、従来の推定器よりも価値をもたらすかどうかを評価する。ランダムフォレストおよび因果的フォレストを用いた二重機械学習を用いて、多くの共変量と連続的処置効果をモデル化する場合、CML手法が理論的労働供給予測を支援できることを示している。これは、従来のCATE推定器がモデル制限と十分な共変量の欠如により見逃す証拠を提供する。

ABSTRACT

Recent studies have proposed causal machine learning (CML) methods to estimate conditional average treatment effects (CATEs). In this study, I investigate whether CML methods add value compared to conventional CATE estimators by re-evaluating Connecticut's Jobs First welfare experiment. This experiment entails a mix of positive and negative work incentives. Previous studies show that it is hard to tackle the effect heterogeneity of Jobs First by means of CATEs. I report evidence that CML methods can provide support for the theoretical labor supply predictions. Furthermore, I document reasons why some conventional CATE estimators fail and discuss the limitations of CML methods.

研究の動機と目的

• ジョブズ・ファースト福祉実験を評価する際、因果的機械学習（CML）手法が従来の条件付き平均処置効果（CATE）推定器よりも追加の価値を提供するかどうかを評価すること。
• データの可用性にもかかわらず、特にローカル定数モデルを含む従来のCATE推定器が、確立された労働供給理論の予測を支持できない理由を特定すること。
• ジョブズ・ファースト計画の文脈において、CATEと分位数処置効果（QTE）が、包含的または同等の情報を含むかどうかを検討すること。
• CML推定における共変量の調整と高次元の共変量の重要性を、妥当な因果推論の観点から評価すること。

提案手法

• ランダムフォレストおよび因果的フォレスト推定器を用いた二重機械学習（DML）を採用し、無作為化実験におけるCATEを推定する。
• すべての利用可能な外生的変数を含めるために、キッチンシンク共変量を用いた修正されたアウトカムアプローチを採用する。
• 木構造のアルゴリズム（ランダムフォレスト）を用いたデータ駆動型サブグループ化を実施し、手動による層の選択を回避し、過剰適合のリスクを低減する。
• CML手法によるCATE推定値とBitler, Gelbach, and Hoynes (2006)のQTEを比較し、情報の重複度を評価する。
• コルモゴロフ＝スミルノフ検定を用いて、潜在的収入分布とシミュレートされた収入分布の等質性を正式に検証し、CATEとQTEが包含的かどうかを評価する。
• DMLフレームワーク内で共変量の調整を実施し、高次元共変量空間におけるわずかな不均衡を是正する。

Figure 1: Earnings and welfare transfers under AFDC and Jobs First.

実験結果

リサーチクエスチョン

• RQ1 因果的機械学習手法は、ジョブズ・ファースト実験において、従来のCATE推定器よりも理論的労働供給予測をより強く支持するか？
• RQ2 なぜローカル定数モデルを含む従来のCATE推定器は、データに関連する異質性が存在するにもかかわらず、労働供給理論の予測と整合する効果異質性を検出できないのか？
• RQ3 この文脈において、CML手法で推定されたCATEは、分位数処置効果（QTE）とどの程度同じ情報を含むか？
• RQ4 共変量の調整と高次元の共変量の組み込みは、機械学習手法を用いたCATE推定において、どの程度重要か？
• RQ5 CML手法は、QTEが捉えることができるゼロ収入の質量点のような、収入分布の質量点を検出できるか？

主な発見

• 特にキッチンシンク共変量を用いたランダムフォレストおよび因果的フォレストを用いた因果的機械学習手法は、ジョブズ・ファースト実験において理論的労働供給予測を効果的に支持する。
• 従来のCATE推定器の失敗は、主に不適切なサブグループ選択、グループ内での定数効果仮定、および共変量集合の不足に起因しており、データに関連する異質性が存在するにもかかわらずそうなる。
• 共変量の調整を伴わない修正されたアウトカム法は、ランダムフォレスト推定器を用いても理論的予測を支持しない。これは、高次元設定において共変量の調整が不可欠であることを示している。
• CATEとQTEは同じ情報を含まない：コルモゴロフ＝スミルノフ検定により、潜在的収入分布とシミュレートされた収入分布の等質性が棄却され、CATEがゼロ収入点のような質量点を完全に捉えていないことが示された。
• CML手法は結果分布の質量点を検出できない。これは、政策の分布的影響を完全に表現する能力に制限をもたらす。
• CMLの価値は条件付きである。関連する共変量が多数含まれており、連続的処置効果がモデル化されている場合にのみ顕在化する。制限的なモデル仮定のもとでは顕在化しない。

Figure 2: CATEs by difference between earnings and FPL (per quarter).