[论文解读] Causal Inference of General Treatment Effects using Neural Networks with A Diverging Number of Confounders

Xiaohong Chen, Ying Liu+2 more|arXiv (Cornell University)|Sep 15, 2020

Advanced Causal Inference Techniques参考文献 39被引用 4

一句话总结

本文提出了一种基于神经网络的方法，用于在混淆变量数量随样本量增长时，高效地进行一般处理效应（如平均效应、分位数效应和非对称最小二乘效应）的因果推断。通过引入混合光滑性类并利用ReLU神经网络估计倾向得分，该方法在不依赖稀疏性假设的前提下，实现了根n一致性与渐近正态性，克服了维度灾难问题。

ABSTRACT

Semiparametric efficient estimation of various multi-valued causal effects, including quantile treatment effects, is important in economic, biomedical, and other social sciences. Under the unconfoundedness condition, adjustment for confounders requires estimating the nuisance functions relating outcome or treatment to confounders nonparametrically. This paper considers a generalized optimization framework for efficient estimation of general treatment effects using artificial neural networks (ANNs) to approximate the unknown nuisance function of growing-dimensional confounders. We establish a new approximation error bound for the ANNs to the nuisance function belonging to a mixed smoothness class without a known sparsity structure. We show that the ANNs can alleviate the "curse of dimensionality" under this circumstance. We establish the root-$n$ consistency and asymptotic normality of the proposed general treatment effects estimators, and apply a weighted bootstrap procedure for conducting inference. The proposed methods are illustrated via simulation studies and a real data application.

研究动机与目标

• 解决当混淆变量数量随样本量发散时估计一般处理效应的挑战。
• 在条件独立性假设下，克服非参数估计干扰函数时的维度灾难问题。
• 利用神经网络开发一种针对多值处理效应的根n一致且渐近正态的估计器。
• 通过加权自助法实现有效推断，而无需复杂渐近方差估计。
• 在不依赖已知稀疏性的前提下，为神经网络逼近在混合光滑性类下的理论保证提供支持。

提出的方法

• 提出一种广义优化框架，直接最小化包含人工神经网络（ANN）近似倾向得分的损失函数。
• 在高维混淆变量设定下，使用基于ReLU的前馈神经网络来建模干扰函数（倾向得分）。
• 引入混合光滑性类作为Barron类的子集，从而对干扰函数的傅里叶变换矩施加更紧的界。
• 推导出在该混合光滑性类下ANN的新型逼近误差界，表明其对维度增加具有鲁棒性。
• 在较弱的正则性条件下，建立处理效应估计器的根n一致性和渐近正态性。
• 采用加权自助法进行推断，避免了计算复杂渐近方差公式的需要，尤其适用于分位数和非对称处理效应。

实验结果

研究问题

• RQ1 当混淆变量数量随样本量增长时，神经网络能否有效缓解非参数估计干扰函数中的维度灾难问题？
• RQ2 何种函数空间假设足以确保神经网络在高维因果推断中实现快速逼近速率？
• RQ3 所提出的基于ANN的估计器在混淆变量发散时，是否对一般处理效应实现根n一致性与渐近正态性？
• RQ4 在有限样本下，该方法相较于现有方法（如GLM、GAM、RF、GBM、DNN）在分位数和平均处理效应上的表现如何？
• RQ5 对于分位数处理效应等复杂处理效应，基于加权自助法的置信集是否比基于渐近方差的推断更准确？

主要发现

• 所提出的基于ANN的估计器即使在混淆变量数量随样本量增长时，也能对一般处理效应实现根n一致性与渐近正态性。
• 在混合光滑性类下，ANN的逼近误差界以受控方式依赖于维度，从而实现了有效的高维函数估计。
• 在模拟研究中，ANN方法在偏差、经验标准误和分位数处理效应的覆盖概率方面均优于GLM、GAM、RF、GBM和DNN。
• 在样本量n=5000时，模型2下Q1的覆盖率为0.935，Q2为0.940，Q3为0.935，经验标准误约为0.16–0.17。
• 基于ANN估计器的加权自助置信集比基于渐近方差的区间更准确，所有情景下的覆盖率均稳定高于0.92。
• 该方法在不同模型和样本量下表现出稳健性，即使在p=10的高维混淆设定下，仍保持低偏差和良好的覆盖性能。