[论文解读] Estimating Structural Target Functions using Machine Learning and Influence Functions

Alicia Curth, Ahmed M. Alaa+1 more|arXiv (Cornell University)|Aug 14, 2020

Advanced Causal Inference Techniques参考文献 45被引用 5

一句话总结

本文提出了IF-learning，一种利用影响函数实现缺失数据或粗化结果下高效、双重稳健估计的机器学习框架，用于估计结构性目标函数（如异质处理效应）。该框架提出两种算法——IF-learner与Group-IF-learner，通过使用未经中心化的影响函数生成伪结果，实现偏差减少，并在某些情况下实现有效推断。实证结果表明，在小样本和中等样本下，其性能优于标准插补方法。

ABSTRACT

We aim to construct a class of learning algorithms that are of practical value to applied researchers in fields such as biostatistics, epidemiology and econometrics, where the need to learn from incompletely observed information is ubiquitous. We propose a new framework for statistical machine learning of target functions arising as identifiable functionals from statistical models, which we call `IF-learning' due to its reliance on influence functions (IFs). This framework is problem- and model-agnostic and can be used to estimate a broad variety of target parameters of interest in applied statistics: we can consider any target function for which an IF of a population-averaged version exists in analytic form. Throughout, we put particular focus on so-called coarsening at random/doubly robust problems with partially unobserved information. This includes problems such as treatment effect estimation and inference in the presence of missing outcome data. Within this framework, we propose two general learning algorithms that build on the idea of nonparametric plug-in bias removal via IFs: the 'IF-learner' which uses pseudo-outcomes motivated by uncentered IFs for regression in large samples and outputs entire target functions without confidence bands, and the 'Group-IF-learner', which outputs only approximations to a function but can give confidence estimates if sufficient information on coarsening mechanisms is available. We apply both in a simulation study on inferring treatment effects.

研究动机与目标

• 开发一种通用的机器学习框架，用于在应用统计中估计结构性目标函数，特别是在数据不完整或被粗化的情况下。
• 解决数据自适应机器学习估计器在复杂参数（如异质处理效应）上缺乏统计保证的问题。
• 即使真实影响函数无法解析获得，也利用影响函数实现目标参数的高效、双重稳健估计。
• 提供一种模型无关、问题无关的方法，支持对整个目标函数的估计，并在某些情况下支持推断（如置信区间）。
• 通过利用影响函数进行偏差校正与效率提升，弥合现代机器学习与经典半参数估计之间的差距。

提出的方法

• 提出IF-learning框架，利用影响函数（IF）构建结构性目标函数的插补估计器，将影响函数视为真实目标泛函的代理。
• 引入IF-learner，通过从未中心化的影响函数构造伪结果，利用回归方法估计整个目标函数，但不提供置信带。
• 开发Group-IF-learner，将目标函数分组近似，当粗化机制已知时可实现置信区间估计。
• 采用非参数插补偏差校正方法，通过影响函数实现模型中缺失结果情况下的渐近效率与双重稳健性。
• 在第一阶段使用交叉拟合与机器学习模型（如随机森林）估计干扰参数（如结果和倾向得分），以减少过拟合。
• 对条件平均处理效应（CATE）等目标参数应用基于影响函数的去偏方法，即使影响函数的解析形式不可用。

实验结果

研究问题

• RQ1 影响函数能否用于构建超越简单参数的高效、数据自适应的机器学习估计器，以估计结构性目标函数？
• RQ2 在存在缺失结果数据或信息粗化的情况下，如何利用影响函数实现双重稳健性与效率？
• RQ3 在小样本中，基于影响函数的偏差校正与两阶段估计带来的方差增加之间，有限样本下的权衡如何？
• RQ4 在CATE估计中，IF-learning在何种条件下能以均方误差（MSE）指标优于标准插补估计器？
• RQ5 当粗化机制已知时，能否基于影响函数推断可靠地构建估计目标函数的置信区间？

主要发现

• 当处理效应非加性或数据生成过程复杂时，IF-learner在CATE估计的均方误差（MSE）方面始终优于标准插补估计器。
• 在小样本（n=800）下，IF-learner在非加性处理效应上的平均MSE为0.107（SE=0.003），而插补学习器为0.149，表明其在有限样本中性能更优。
• 对于具有复杂交互结构的CATE（τ(x) = μ₀(x)ξ(x₁)ξ(x₂)），在n=1600时，IF-learner将MSE从插补法的0.401降低至0.252，显示出在复杂场景下的显著优势。
• 当粗化机制已知时，Group-IF-learner可实现有效的置信区间估计，为标准方法失效的场景提供了推断路径。
• 在极简单或极困难的设定下，简单插补学习器表现优于IF-learners，表明基于影响函数的偏差校正最有利于中等复杂度场景。
• 在小样本中，两阶段估计带来的偏差减少与方差增加之间的权衡明显可见，提示需通过改进正则化（如超级学习）以优化性能。