[論文レビュー] Double/Debiased Machine Learning for Dynamic Treatment Effects via g-Estimation

Greg Lewis, Vasilis Syrgkanis|arXiv (Cornell University)|Feb 17, 2020

Advanced Causal Inference Techniques参考文献 47被引用数 6

ひとこと要約

本稿は、Neyman直交性とクロスフィットのg推定フレームワークを用いて、逐次的治療制度における動的治療効果を推定するためのダブル/デバイアスド機械学習の拡張を提案する。高次元の制御が可能であり、構造的パラメータに対してroot-n漸近的推論を提供し、最小限の半パラメトリック制限のもとでオフポリシー評価や非定型効果推定を可能にする。

ABSTRACT

We consider the estimation of treatment effects in settings when multiple treatments are assigned over time and treatments can have a causal effect on future outcomes or the state of the treated unit. We propose an extension of the double/debiased machine learning framework to estimate the dynamic effects of treatments, which can be viewed as a Neyman orthogonal (locally robust) cross-fitted version of $g$-estimation in the dynamic treatment regime. Our method applies to a general class of non-linear dynamic treatment models known as Structural Nested Mean Models and allows the use of machine learning methods to control for potentially high dimensional state variables, subject to a mean square error guarantee, while still allowing parametric estimation and construction of confidence intervals for the structural parameters of interest. These structural parameters can be used for off-policy evaluation of any target dynamic policy at parametric rates, subject to semi-parametric restrictions on the data generating process. Our work is based on a recursive peeling process, typical in $g$-estimation, and formulates a strongly convex objective at each stage, which allows us to extend the $g$-estimation framework in multiple directions: i) to provide finite sample guarantees, ii) to estimate non-linear effect heterogeneity with respect to fixed unit characteristics, within arbitrary function spaces, enabling a dynamic analogue of the RLearner algorithm for heterogeneous effects, iii) to allow for high-dimensional sparse parameterizations of the target structural functions, enabling automated model selection via a recursive lasso algorithm. We also provide guarantees for data stemming from a single treated unit over a long horizon and under stationarity conditions.

研究の動機と目的

• 治療が時間とともに割り当てられ、将来の結果や状態に影響を与える状況で動的治療効果を推定すること。
• 非線形な動的治療モデル、特に構造的ネストド平均モデル（SNMMs）に対してダブル/デバイアスド機械学習を拡張すること。
• 構造的パラメータのroot-n漸近的推論を維持しつつ、高次元の状態変数に対する機械学習を可能にすること。
• 半パラメトリック制限のもとで、任意のターゲット動的ポリシーのオフポリシー評価をパラメトリックレートで可能にすること。
• 再帰的ラッソを用いて、非線形な効果の非定型性と高次元スパースパラメータ化を再帰的に推定すること。

提案手法

• g推定にインspiredされた再帰的ピーリングプロセスを用いて、段階的なプロセスにおける動的治療効果をモデル化する。
• 各段階で、安定かつ効率的な推定を保証する強凸最適化目的関数を定式化する。
• クロスフィットとNeyman直交性を用いて、root-n漸近正規性と機械学習推定誤差に対するロバスト性を達成する。
• 高次元の制御関数に機械学習を統合しつつ、構造的パラメータの推定効率を維持する。
• 高次元スパースパラメータ化における構造的関数の自動モデル選択を実現する再帰的ラッソアルゴリズムを採用する。
• 単一の被験対象からの定常性と長期間データのもとで有限標本保証を導出する。

実験結果

リサーチクエスチョン

• RQ1 時間的に変化する治療と結果を伴う動的治療制度において、ダブル/デバイアスド機械学習を拡張可能か？
• RQ2 動的モデルにおける構造的パラメータのroot-n推論を維持しつつ、高次元の状態変数を制御することは可能か？
• RQ3 固定された個体特徴に関する非線形な効果の非定型性を、任意の関数空間内で動的設定で推定可能か？
• RQ4 再帰的ラッソは、動的構造的関数のための自動的モデル選択をどのように可能にするか？
• RQ5 単一被験対象・長期間データ設定において、どのような条件下でオフポリシー評価の有効な推論が得られるか？

主な発見

• 半パラメトリック制限のもとで、構造的パラメータに対してroot-n漸近正規性を達成し、有効な信頼区間と仮説検定を可能にする。
• 高次元の交絡要因が存在しても、任意のターゲット動的ポリシーのオフポリシー評価をパラメトリックレートで可能にする。
• 個体固有の共変量に関する非線形な効果の非定型性を、任意の関数空間内で推定可能であり、RLearnerフレームワークを動的設定に拡張する。
• 再帰的ラッソアルゴリズムにより、高次元設定における構造的関数のスパースパラメータ化の自動的・データ駆動型選択が可能になる。
• 定常性条件のもとで、単一被験対象からのデータに対して有限標本保証が確立される。
• Neyman直交性とクロスフィットを通じて、機械学習推定誤差に対するロバスト性を維持する。