[論文レビュー] Adapting Neural Networks for the Estimation of Treatment Effects

Claudia Shi, David M. Blei+1 more|arXiv (Cornell University)|Jun 5, 2019

Advanced Causal Inference Techniques参考文献 25被引用数 53

ひとこと要約

Dragonnet、観測データからの因果推定のための傾向スコアの十分性を活用する三頭神経ネットワークアーキテクチャと、観測データからの治療効果推定を改善するターゲット正則化手法を導入し、IHDPおよびACIC 2018のベンチマークで強力な結果を示す。

ABSTRACT

This paper addresses the use of neural networks for the estimation of treatment effects from observational data. Generally, estimation proceeds in two stages. First, we fit models for the expected outcome and the probability of treatment (propensity score) for each unit. Second, we plug these fitted models into a downstream estimator of the effect. Neural networks are a natural choice for the models in the first step. The question we address is: how can we adapt the design and training of the neural networks used in the first step in order to improve the quality of the final estimate of the treatment effect? We propose two adaptations based on insights from the statistical literature on the estimation of treatment effects. The first is a new architecture, the Dragonnet, that exploits the sufficiency of the propensity score for estimation adjustment. The second is a regularization procedure, targeted regularization, that induces a bias towards models that have non-parametrically optimal asymptotic properties `out-of-the-box`. Studies on benchmark datasets for causal inference show these adaptations outperform existing methods. Code is available at github.com/claudiashi57/dragonnet.

研究の動機と目的

• 隠れた交絡が存在しない状況における観測データからの因果効果推定を動機づける。
• 条件付き結果 Q(t, x) と傾向スコア g(x) の双方についてニューラルネットワークベースのモデルを開発する。
• 有限サンプル挙動を管理しつつ下流のATE推定を改善するアーキテクチャと正則化手法を提案する。

提案手法

• Dragonnet、共有表現 Z(X) を持つ三頭のニューラルネットを提案する：1つの頭が g(x)（傾向性）を予測し、2つの頭が Q(0, x) および Q(1, x) を予測する。
• エンドツーエンド目的関数でトレーニングする。結果予測損失と傾向スコア予測損失を結合する: R(θ) = (1/n) Σi [ (Qnn(ti, xi; θ) − yi)^2 + α CrossEntropy(gnn(xi; θ), ti) ].
• ターゲット正則化を導入する：Q に摂動 tildeQ を付加し、損失に二乗誤差項 γ を追加し、非パラメトリック推定方程式を満たすよう ε を最適化する。
• このアプローチを非パラメトリック推定理論（TMLEに触発）に根ざさせ、ATE ψ の頑健性と効率性を実現する。
• エンドツーエンドの Dragonnet およびターゲット正則化を適用した Dragonnet を、マルチステージのベースライン（NEDnet）および TMLE ベースの手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのニューラルネットワーク訓練（Qと g）を用いた場合、従来のマルチステージ手法と比較して下流のATE推定を改善できるか。
• RQ2 ニューラルネットワーク内で傾向スコアの十分性を強制する（Dragonnet）と、治療割り当てに関係のない多数の共変量がある場合に、因果調整とATE推定の精度が向上するか。
• RQ3 ターゲット正則化は、ニューラルネットワーク設定における有限サンプルの安定性と漸近的効率性を提供するか。
• RQ4 これらの手法は、既存のニューラルネットベースのベースラインと比較して、確立された因果ベンチマークデータセット（IHDP、ACIC 2018）でどのように機能するか。

主な発見

• Dragonnet with targeted regularization は、ニューラルネットワーク手法の中で IHDP における推定誤差を最先端レベルに達成。
• ACIC 2018 では、Dragonnet および特にターゲット正則化を用いる Dragonnet が、ベースラインおよび TMLE を多くの設定で上回る。
• 多くの共変量が Y には影響を与えるが T には影響を与えない場合、傾向スコアの十分性を利用して治療関連情報に焦点を当てることで、Dragonnet はしばしば優位になる。
• エンドツーエンドの Dragonnet は、複数段階の NEDnet よりも治療効果の推定において良好な結果を示す。
• TMLE は有限サンプルで性能を低下させる可能性がある一方、ターゲット正則化はより広い条件下で推定を維持または向上させる。
• 治療割り当てに関係する情報だけを共有表現を介して調整することで、予測精度がわずかに低下しても推定精度を改善できる。