[論文レビュー] Causal Inference of General Treatment Effects using Neural Networks with A Diverging Number of Confounders

Xiaohong Chen, Ying Liu+2 more|arXiv (Cornell University)|Sep 15, 2020

Advanced Causal Inference Techniques参考文献 39被引用数 4

ひとこと要約

本稿では、標本サイズに伴い共変量の数が増加する状況において、平均、分位数、非対称最小二乗効果など一般化された処置効果を効率的に因果推論するためのニューラルネットワークベースの手法を提案する。混合滑らかさクラスを導入し、ReLUニューラルネットワークを用いて傾向スコアを推定することで、次元の呪いを克服し、スパarsityを仮定しないままroot-nの一貫性と漸近正規性を達成する。

ABSTRACT

Semiparametric efficient estimation of various multi-valued causal effects, including quantile treatment effects, is important in economic, biomedical, and other social sciences. Under the unconfoundedness condition, adjustment for confounders requires estimating the nuisance functions relating outcome or treatment to confounders nonparametrically. This paper considers a generalized optimization framework for efficient estimation of general treatment effects using artificial neural networks (ANNs) to approximate the unknown nuisance function of growing-dimensional confounders. We establish a new approximation error bound for the ANNs to the nuisance function belonging to a mixed smoothness class without a known sparsity structure. We show that the ANNs can alleviate the "curse of dimensionality" under this circumstance. We establish the root-$n$ consistency and asymptotic normality of the proposed general treatment effects estimators, and apply a weighted bootstrap procedure for conducting inference. The proposed methods are illustrated via simulation studies and a real data application.

研究の動機と目的

• 標本サイズに伴い共変量の数が発散する状況における一般化処置効果の推定という課題に対処すること。
• 無作為性のもとでのノイズ関数の非パラメトリック推定における次元の呪いを克服すること。
• ニューラルネットワークを用いて、多値処置効果に対してroot-nの一貫性と漸近正規性を持つ推定量を構築すること。
• 複雑な漸近分散の推定を必要とせず、重み付きブートストラップ手順により有効な推論を可能にすること。
• 既知のスパarsityがなくても、混合滑らかさクラスにおけるニューラルネットワーク近似の理論的保証を確立すること。

提案手法

• 人工的ニューラルネットワーク（ANN）で近似された傾向スコアを含む損失関数を直接最小化する一般化された最適化フレームワークを提案する。
• 高次元の共変量設定において、ノイズ関数（傾向スコア）をReLUベースの順方向ニューラルネットワークでモデル化する。
• バロンクラスの部分集合としての混合滑らかさクラスを導入し、ノイズ関数のフーリエ変換モーメントに対する tighter バインドを可能にする。
• この混合滑らかさクラスにおけるANNの近似誤差バインドを新たに導出し、次元の増加に対して強いロバストネスを示す。
• ややきつい正則性条件のもとで、処置効果推定量のroot-nの一貫性と漸近正規性を確立する。
• 漸近分散の複雑な計算を回避するため、推論に重み付きブートストラップ手順を採用する。特に分位数や非対称処置効果において有効である。

実験結果

リサーチクエスチョン

• RQ1 標本サイズに伴い共変量の数が増加する状況において、ニューラルネットワークが非パラメトリックなノイズ関数推定における次元の呪いを効果的に緩和できるか。
• RQ2 高次元因果推論におけるニューラルネットワークの高速近似レートを保証するのに十分な関数空間の仮定は何か。
• RQ3 提案されたANNベースの推定量は、共変量の数が発散する状況下でも、一般化された処置効果に対してroot-nの一貫性と漸近正規性を達成するか。
• RQ4 有限標本において、分位数効果や平均効果の観点から、本手法は従来の手法（GLM、GAM、RF、GBM、DNN）と比較してどのように性能を発揮するか。
• RQ5 重み付きブートストラップ手順は、分位数処置効果のような複雑な処置効果に対して、漸近分散に基づく推定よりもより正確な信頼集合を提供できるか。

主な発見

• 提案されたANNベースの推定量は、共変量の数が標本サイズに伴い増加する状況下でも、一般化された処置効果に対してroot-nの一貫性と漸近正規性を達成する。
• 混合滑らかさクラスにおけるANNの近似誤差バインドは次元の影響を制御された形で依存し、高次元関数推定に有効である。
• シミュレーション研究では、GLM、GAM、RF、GBM、DNNと比較して、分位数処置効果のバイアス、実現標準偏差、カバレッジレートの観点で本手法が優れている。
• n=5000の条件下で、Model 2においてQ1のカバレッジレートは0.935、Q2は0.940、Q3は0.935を記録し、実現標準偏差は約0.16–0.17の範囲に収束した。
• ANN推定量に基づく重み付きブートストラップ信頼集合は、漸近分散に基づく区間と比較して高い正確性を示し、すべてのシナリオでカバレッジレートが0.92以上に維持された。
• 本手法は、さまざまなモデルや標本サイズに対してロバストであり、p=10の高次元共変量下でも低バイアスと良好なカバレッジを維持した。