[论文解读] Debiased Machine Learning without Sample-Splitting for Stable Estimators

Qizhao Chen, Vasilis Syrgkanis+1 more|arXiv (Cornell University)|Jun 3, 2022

Statistical Methods and Inference被引用 4

一句话总结

该论文提出了一种去偏机器学习框架，可在不进行样本分割的前提下，使因果估计量实现根-n一致性与渐近正态性，前提是第一阶段估计算法满足 o(n^{-1/2}) 的留一稳定性条件。关键贡献在于实现了中等样本规模下的样本重用，且理论保证可扩展至无需替换的子采样袋装法等集成方法。

ABSTRACT

Estimation and inference on causal parameters is typically reduced to a generalized method of moments problem, which involves auxiliary functions that correspond to solutions to a regression or classification problem. Recent line of work on debiased machine learning shows how one can use generic machine learning estimators for these auxiliary problems, while maintaining asymptotic normality and root-$n$ consistency of the target parameter of interest, while only requiring mean-squared-error guarantees from the auxiliary estimation algorithms. The literature typically requires that these auxiliary problems are fitted on a separate sample or in a cross-fitting manner. We show that when these auxiliary estimation algorithms satisfy natural leave-one-out stability properties, then sample splitting is not required. This allows for sample re-use, which can be beneficial in moderately sized sample regimes. For instance, we show that the stability properties that we propose are satisfied for ensemble bagged estimators, built via sub-sampling without replacement, a popular technique in machine learning practice.

研究动机与目标

• 消除去偏机器学习中对样本分割的需求，同时保持因果估计量的渐近正态性与根-n一致性。
• 识别最小正则性条件——具体而言，即留一稳定性——以确保无需样本分割的两阶段估计方法依然有效。
• 将理论保证扩展至实际机器学习方法，如通过无放回子采样构建的袋装估计器。
• 为在因果推断中使用复杂、非参数的机器学习模型提供理论基础，同时不牺牲统计推断的有效性。

提出的方法

• 引入对第一阶段干扰项估计器 $\hat{g}$ 的 o(n^{-1/2}) 留一稳定性条件，替代传统的 Donsker 条件或仅基于均方误差的条件。
• 证明：若第一阶段估计器在留一意义下稳定，则估计误差对目标参数 $\theta$ 的影响为二阶，从而实现渐近正态性。
• 利用一个核心引理表明，在稳定性与连续性条件下，经验矩过程 $G_n(\hat{\theta}, \hat{g})$ 可被近似为 $G_n(\theta_0, g_0)$，其误差为 $o_p(n^{-1/2})$。
• 通过将稳定性与连续性条件扩展至雅可比矩阵和矩函数，将该框架推广至非线性矩函数。
• 证明：通过无放回子采样构建的袋装估计器，当子样本大小 $m = o(\sqrt{n})$ 时，满足所需的稳定性条件。
• 利用随机等度连续性与经验过程理论，控制经验矩与真实参数下期望之间的偏差。

实验结果

研究问题

• RQ1 在无需样本分割的情况下，能否实现去偏机器学习中的渐近正态性与根-n一致性？
• RQ2 对第一阶段估计器而言，何种最小正则性条件足以确保两阶段估计中的有效推断？
• RQ3 如袋装法等集成方法，若采用无放回子采样，是否满足无需样本分割推断所需的稳定性条件？
• RQ4 干扰项估计器的稳定性如何影响矩条件估计中目标参数的渐近分布？

主要发现

• 本文证明，干扰项估计器 $\hat{g}$ 的 o(n^{-1/2}) 留一稳定性条件，足以在无需样本分割的情况下，保证 $\hat{\theta}$ 的渐近正态性与根-n一致性。
• 通过无放回子采样构建的袋装估计器，当子样本大小 $m$ 的增长速度慢于 $\sqrt{n}$ 时，满足所需的稳定性条件。
• 该方法允许完整重用样本，显著提升了中等样本规模下的效率，避免了样本分割导致的数据显著损失。
• 在矩函数与雅可比矩阵函数关于干扰函数满足利普希茨型连续性条件时，该理论框架可推广至非线性矩函数。
• 该稳定性条件弱于以往研究，后者要求偏差更快衰减（如 $o(n^{-1})$）；因此，该条件可适用于更广泛的机器学习模型类别。