[论文解读] DoubleML -- An Object-Oriented Implementation of Double Machine Learning in R

Philipp Bach, Victor Chernozhukov+3 more|arXiv (Cornell University)|Mar 17, 2021

Mental Health Research TopicsPsychology参考文献 67被引用 21

一句话总结

本论文介绍了 DoubleML，这是一个基于面向对象设计的 R 包，实现了双/去偏机器学习框架。通过利用 Neyman 正交性、样本分割以及来自 mlr3 生态系统的机器学习估计器，该框架能够在高维模型（如部分线性模型和交互回归模型）中实现有效的因果推断，确保即使在复杂的干扰函数下，因果参数的估计也具有鲁棒性和高效性。

ABSTRACT

The R package DoubleML implements the double/debiased machine learning framework of Chernozhukov et al. (2018). It provides functionalities to estimate parameters in causal models based on machine learning methods. The double machine learning framework consist of three key ingredients: Neyman orthogonality, high-quality machine learning estimation and sample splitting. Estimation of nuisance components can be performed by various state-of-the-art machine learning methods that are available in the mlr3 ecosystem. DoubleML makes it possible to perform inference in a variety of causal models, including partially linear and interactive regression models and their extensions to instrumental variable estimation. The object-oriented implementation of DoubleML enables a high flexibility for the model specification and makes it easily extendable. This paper serves as an introduction to the double machine learning framework and the R package DoubleML. In reproducible code examples with simulated and real data sets, we demonstrate how DoubleML users can perform valid inference based on machine learning methods.

研究动机与目标

• 为 R 中的因果推断提供一种灵活、可扩展且可复现的双机器学习框架实现。
• 通过结合 Neyman 正交性、样本分割以及用于干扰参数估计的机器学习方法，实现在高维因果模型中的有效推断。
• 通过可扩展的面向对象架构，支持多种因果模型，包括部分线性模型、交互模型和工具变量模型。
• 与 mlr3 生态系统无缝集成，支持灵活的模型指定、超参数调优和重采样。
• 通过集成的复现代码和对模拟数据与真实世界数据示例的支持，促进可复现研究。

提出的方法

• 该包基于 R6 类的面向对象设计，封装了特定于模型的组件，包括得分函数和估计逻辑。
• 实现了 Neyman 正交估计方程，以确保对干扰函数估计误差的鲁棒性。
• 采用样本分割方法，将目标参数估计与干扰函数估计解耦，提升推断的有效性。
• 使用 mlr3 生态系统中的先进机器学习方法估计干扰函数（如条件均值或倾向得分）。
• 该框架支持多种重采样方案，并内置了标准误估计、置信区间和通过乘子自展法实现的联合推断程序。
• 通过定义在目标参数上线性且满足 Neyman 正交性的新得分函数，可轻松扩展新的模型类型。

实验结果

研究问题

• RQ1 如何在 R 中有效实现双机器学习，以实现在高维因果模型中的有效推断？
• RQ2 DoubleML 的面向对象设计在多大程度上增强了对多样化因果模型的灵活性和可扩展性？
• RQ3 与 mlr3 生态系统的集成在多大程度上支持了跨多种机器学习方法的稳健且可扩展的估计？
• RQ4 DoubleML 在有限样本下对不同数据生成过程（包括 PLR、PLIV、IRM 和 IIVM 模型）的表现如何？
• RQ5 在具有高维混杂因素的模拟研究中，DoubleML 在覆盖概率、大小和统计功效方面的经验表现如何？

主要发现

• DoubleML 在 R 中成功实现了双机器学习框架，全面支持部分线性和交互回归模型，包括工具变量扩展。
• 通过确保 Neyman 正交性并使用样本分割减少干扰估计中的偏差，该包在高维设置中实现了有效推断。
• 在样本量为 n=500 和 n=1000 的模拟研究中，DoubleML 在 PLIV、IRM 和 IIVM 模型中均保持了置信区间的适当覆盖率。
• 在重复模拟中，该方法对模型误设和高维干扰函数估计误差表现出鲁棒性，体现为稳定的有效性和统计功效。
• 与 mlr3 的集成使得干扰函数的机器学习模型能够灵活且自动调优，从而提高了估计效率。
• 通过乘子自展法程序，该包支持高级推断，包括联合置信区域和校正后的 p 值，实现联合推断。