[論文レビュー] Kernel Methods for Policy Evaluation: Treatment Effects, Mediation Analysis, and Off-Policy Planning.

Rahul Singh, Liyuan Xu+1 more|arXiv (Cornell University)|Oct 10, 2020

Advanced Causal Inference Techniques参考文献 84被引用数 8

ひとこと要約

本稿では、静的および動的設定の両方において非パラメトリックな方策評価を統合的に扱うためのカーネルベースのフレームワークを提案する。再生核ヒルバート空間（RKHS）における再重み付けを用いて、処置効果、媒介効果、および反実仮想分布を推定する。一行情報の閉形式解を提供し、一様な一致性と有限標本収束速度を有し、シミュレーションおよび米国ジョブズコーポス計画での検証がなされている。

ABSTRACT

We propose a novel framework for non-parametric policy evaluation in static and dynamic settings. Under the assumption of selection on observables, we consider treatment effects of the population, of sub-populations, and of alternative populations that may have alternative covariate distributions. We further consider the decomposition of a total effect into a direct effect and an indirect effect (as mediated by a particular mechanism). Under the assumption of sequential selection on observables, we consider the effects of sequences of treatments. Across settings, we allow for treatments that may be discrete, continuous, or even text. Across settings, we allow for estimation of not only counterfactual mean outcomes but also counterfactual distributions of outcomes. We unify analyses across settings by showing that all of these causal learning problems reduce to the re-weighting of a prediction, i.e. causal adjustment. We implement the re-weighting as an inner product in a function space called a reproducing kernel Hilbert space (RKHS), with a closed form solution that can be computed in one line of code. We prove uniform consistency and provide finite sample rates of convergence. We evaluate our estimators in simulations devised by other authors. We use our new estimators to evaluate continuous and heterogeneous treatment effects of the US Jobs Corps training program for disadvantaged youth.

研究の動機と目的

• 静的および動的環境を含む多様な政策設定において、統一的かつ非パラメトリックな処置効果の評価手法を開発すること。
• 平均の反実仮想結果に加え、さまざまな処置制度下での完全な反実仮想結果分布を推定すること。
• 順次観察変数に基づく選択の下で、逐次的処置設定において、合計処置効果を直接効果と間接効果に分解する媒介分析を実施すること。
• 異なる共変量分布を持つ代替集団の政策効果を推定できること。
• 提案された推定器に対して、一様一貫性および有限標本収束速度を含む理論的保証を提供すること。

提案手法

• フレームワークは、すべての因果推論問題を再生核ヒルバート空間（RKHS）における内積による予測の再重み付けに還元する。
• 再重み付けのための閉形式解を用い、1行のコードで計算可能であり、実装が効率的である。
• 選択は観察変数に基づくと仮定し、順次的処置設定へも拡張可能である。
• 処置は離散的、連続的、あるいはテキスト形式であっても可能であり、データタイプに広く適用可能である。
• 反実仮想分布は、RKHSにおけるカーネルベースの重要度サンプリングを用いた観測結果の再重み付けによって推定される。
• 理論的分析により、推定器の均一一貫性および有限標本収束速度が確立されている。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、一様な非パラメトリックフレームワークの下で処置効果、媒介効果、および反実仮想分布の推定を統一的に扱えるか？
• RQ2 RKHSにおけるカーネル法は、さまざまな処置タイプにわたる方策評価において、閉形式かつ計算効率の良い解を提供できるか？
• RQ3 提案されたカーネルベースの再重み付け推定器の理論的性質、例えば一貫性や収束速度は何か？
• RQ4 本手法は、現実の政策設定において連続的かつ不均一な処置効果を推定する際にどのように性能を発揮するか？
• RQ5 異なる共変量分布を持つ代替集団の反実仮想推論を処理できるか？

主な発見

• 提案されたカーネルベースの再重み付け法は、一様一貫性を達成し、反実仮想平均および分布推定に対して有限標本収束速度を提供する。
• RKHSにおける1行情報の閉形式解が実現可能であり、複雑な方策評価タスクにおいて実装を著しく簡素化する。
• フレームワークは、米国ジョブズコーポス計画の連続的かつ不均一な処置効果を効果的に推定でき、実用的有用性を示している。
• 離散的、連続的、テキストベースの処置を含む処置タイプの間で一般化可能であり、パラメトリックモデルの仮定を必要としない。
• 他の研究者が設計したシミュレーションにおいて、既存のベンチマークを上回る性能を示しており、ロバストネスと正確性が確認された。
• 合計効果の直接効果と間接効果への分解が一貫して推定可能であり、観察変数に基づく選択の下での有効な媒介分析を可能にする。