[论文解读] Adaptive debiased machine learning using data-driven model selection techniques

Lars van der Laan, Marco Carone+2 more|arXiv (Cornell University)|Jul 24, 2023

Statistical Methods and InferenceMathematics被引用 3

一句话总结

本文提出自适应去偏机器学习（ADML），一种非参数框架，结合数据驱动的模型选择与去偏机器学习，为路径可微泛函生成渐近线性、超效率估计量。通过从数据中学习一个预言子模型，ADML 实现了对投影型预言参数的正则、局部一致有效的推断，该参数在真实分布位于所学子模型时与目标参数一致，确保了与事先知晓预言模型相比，数据驱动模型选择不产生渐近损失。

ABSTRACT

Debiased machine learning estimators for smooth functionals in nonparametric models can exhibit substantial variability and instability, often leading practitioners to instead rely on parametric or semiparametric working models. Such models, however, may be misspecified and can therefore introduce bias. We study how data-driven model selection can be combined with debiased machine learning to construct estimators that adapt to structure in the data-generating distribution. To this end, we propose Adaptive Debiased Machine Learning (ADML), a nonparametric framework for constructing superefficient estimators of pathwise differentiable parameters. The framework unifies a broad class of previously proposed adaptive estimators, including methods based on variable selection, learned feature representations, and collaborative targeted learning. It requires only high-level conditions and approximate validity of the selection procedure, which are implied by lower-level conditions already assumed in important settings, including sieve-based selection, sparsity-based methods such as the Lasso, and data-adaptive feature representations. We show that ADML estimators yield regular and efficient root-\(n\) inference for an oracle projection parameter induced by a data-adaptive oracle submodel. This oracle parameter coincides with the target parameter at the true distribution but typically has a smaller efficiency bound, thereby yielding superefficiency for the target parameter. As a practical illustration, we introduce a broad class of automatic ADML estimators for continuous linear functionals of the outcome regression, in which model selection is performed directly on the regression itself. Motivated by overlap challenges in causal inference, we develop new superefficient plug-in estimators for the average treatment effect based on calibration in semiparametric regression models.

研究动机与目标

• 为解决标准去偏机器学习估计量的局限性，即其对真实数据生成分布中未知结构特征（如稀疏性或光滑性）不具适应性。
• 开发一种避免参数或半参数模型假设的框架，同时在存在此类结构时仍能实现效率。
• 确保即使在局部替代假设下，数据驱动的模型选择也不会在偏差或方差上产生渐近代价。
• 为在预言子模型下具有超效率的自适应估计量提供理论基础坚实、正则的推断。
• 通过自适应部分线性模型中的平均处理效应 ADML 估计量，展示其实际适用性。

提出的方法

• ADML 使用数据驱动的模型选择方法，从预设统计模型中学习一个逼近未知预言子模型的工作模型。
• 通过将真实数据生成分布投影到所学工作子模型上，定义一个数据自适应的 estimand（估计目标）。
• 随后应用去偏机器学习技术，为该基于投影的 estimand 构建估计量。
• 该框架确保了预言参数的渐近线性以及局部一致有效的推断，当真实分布位于预言子模型中时，该参数与目标参数一致。
• 建议采用样本分割和交叉拟合技术，以减少模型选择带来的有限样本方差膨胀。
• 可使用自助法或重抽样方法，以改善有限样本下的方差估计和置信区间覆盖。

实验结果

研究问题

• RQ1 在去偏机器学习中，数据驱动的模型选择是否可以避免在偏差或方差上的渐近代价？
• RQ2 该估计量在局部渐近扰动下是否仍保持正则性并提供有效推断？
• RQ3 使用已知预言子模型与从数据中学习该模型之间是否存在局部渐近等价性？
• RQ4 在模型误设下，ADML 与固定参数或半参数估计量相比，在偏差、方差和覆盖性能方面表现如何？
• RQ5 ADML 是否能在保持对模型误设的稳健性的同时实现超效率？

主要发现

• ADML 估计量是渐近线性的，对基于投影的预言参数提供局部一致有效的推断；当真实分布位于所学预言子模型中时，该参数与目标参数一致。
• 与事先知晓预言子模型相比，即使在最不利的局部扰动下，数据驱动模型选择也未产生渐近损失。
• 在最不利的局部替代下，预设的半参数估计量（如常数 CATE）与部分线性 ADMLE 在渐近上等价，支持了无损失结果。
• 基于 AIPW 估计量的置信区间在局部扰动下实现了 95% 的覆盖，但代价是方差显著增加，且在中等重叠设置下均方误差更差。
• 插件 HAL-ADMLE 的渐近偏差高于部分线性 ADMLE，这与它在更小的预言子模型下保持正则性一致。
• 在极端重叠设置下（例如，$c_0 \approx 10^{-6}$），AIPW 估计量变得有偏且高度可变，可能是因为在非参数模型中 ATE 不可识别。