[论文解读] RieszNet and ForestRiesz: Automatic Debiased Machine Learning with Neural Nets and Random Forests

Victor Chernozhukov, Whitney K. Newey+2 more|arXiv (Cornell University)|Oct 6, 2021

Advanced Causal Inference Techniques被引用 5

一句话总结

RieszNet 和 ForestRiesz 提出了一种基于神经网络和随机森林的因果推断自动去偏方法，通过多任务端到端训练实现 Riesz 表示学习，从而获得 $√{n}$-一致且渐近正态的估计量。该方法在平均处理效应和平均边际效应的推断中实现了接近名义水平的置信区间覆盖，优于以往方法的实证基准表现。

ABSTRACT

Many causal and policy effects of interest are defined by linear functionals of high-dimensional or non-parametric regression functions. $\sqrt{n}$-consistent and asymptotically normal estimation of the object of interest requires debiasing to reduce the effects of regularization and/or model selection on the object of interest. Debiasing is typically achieved by adding a correction term to the plug-in estimator of the functional, which leads to properties such as semi-parametric efficiency, double robustness, and Neyman orthogonality. We implement an automatic debiasing procedure based on automatically learning the Riesz representation of the linear functional using Neural Nets and Random Forests. Our method only relies on black-box evaluation oracle access to the linear functional and does not require knowledge of its analytic form. We propose a multitasking Neural Net debiasing method with stochastic gradient descent minimization of a combined Riesz representer and regression loss, while sharing representation layers for the two functions. We also propose a Random Forest method which learns a locally linear representation of the Riesz function. Even though our method applies to arbitrary functionals, we experimentally find that it performs well compared to the state of art neural net based algorithm of Shi et al. (2019) for the case of the average treatment effect functional. We also evaluate our method on the problem of estimating average marginal effects with continuous treatments, using semi-synthetic data of gasoline price changes on gasoline demand.

研究动机与目标

• 开发无需依赖矩功能解析形式的因果泛函自动去偏技术。
• 通过黑箱 oracle 访问矩功能，实现高维或非参数泛函的 $√{n}$-一致且渐近正态的估计。
• 利用深度学习和树基模型改进因果推断任务（如平均处理效应和平均边际效应估计）的推断性能。
• 证明多任务学习与表示和校正项的端到端优化可提升估计精度与覆盖性能。
• 在真实世界相关问题（如政策评估与可解释机器学习）上验证该方法，通过实证基准进行评估。

提出的方法

• 提出 RieszNet，一种多任务神经网络，通过共享表示层和联合损失的随机梯度下降，联合学习回归函数及其 Riesz 表示。
• 引入共享表示架构，其中回归与 Riesz 表示预测的前几层共享，实现联合优化。
• 采用 Riesz 表示与回归模型的端到端训练，包括目标最大似然估计（TMLE）校正，以减少偏差。
• 开发 ForestRiesz，一种基于随机森林的方法，通过在单一树集成中联合估计回归函数与 Riesz 表示函数，学习局部线性 Riesz 表示。
• 使用交叉拟合以减少过拟合偏差，并提升高维设置下的置信区间覆盖性能。
• 仅依赖对矩功能的 oracle 访问，无需显式解析形式的泛函或其导数。

实验结果

研究问题

• RQ1 神经网络能否在无需解析形式的前提下，有效自动学习线性泛函的 Riesz 表示？
• RQ2 与独立训练相比，回归与 Riesz 表示网络的多任务端到端训练是否能提升估计精度与推断覆盖性能？
• RQ3 随机森林能否被适配以学习局部线性 Riesz 表示，用于去偏因果推断？
• RQ4 与非交叉拟合变体相比，交叉拟合对 ForestRiesz 置信区间覆盖性能有何影响？
• RQ5 所提方法在真实世界因果推断问题（如平均处理效应与平均边际效应）上是否实现接近名义水平的覆盖与 $√{n}$-一致性？

主要发现

• 在 IHDP 数据集中，RieszNet 在平均处理效应（ATE）上的置信区间覆盖率达到 95.0%，与名义水平一致，偏差为 0.070，均方根误差（RMSE）为 0.313。
• ForestRiesz 在 BHP 实验中的平均边际效应上实现 94.5% 的覆盖，偏差为 -0.091，RMSE 为 0.331，优于非多任务与非交叉拟合变体。
• 消融研究显示，RieszNet 中的多任务学习与端到端训练至关重要：独立训练或固定表示层会显著降低性能。
• 交叉拟合显著提升 ForestRiesz 的覆盖性能：无交叉拟合时覆盖率为 84.6%，简单交叉拟合下提升至 91.1%，在基线多任务设置下进一步提升至 94.5%。
• 与 Shi 等人（2019）的最先进神经网络方法相比，该方法在 ATE 估计中表现更优，偏差更小、RMSE 更低、覆盖更佳。
• 所提框架可实现对复杂泛函（如连续处理的平均边际效应）的有效推断，达到渐近正态性与接近名义水平的覆盖。