[论文解读] Minimax Kernel Machine Learning for a Class of Doubly Robust Functionals.

AmirEmad Ghassami, Andrew Ying+2 more|arXiv (Cornell University)|Apr 7, 2021

Statistical Methods and Inference参考文献 44被引用 9

一句话总结

本文提出了一种极小化极大核机器学习方法，通过极小化极大优化框架来最小化干扰函数之间的依赖性，以估计双重稳健功能性。在与误差乘积率和算子病态性相关的条件下，建立了渐近线性，从而实现了在存在潜在混杂因素的情况下，利用再生核希尔伯特空间和Rademacher复杂度分析，对平均因果效应进行稳健的非参数估计。

ABSTRACT

A moment function is called doubly robust if it is comprised of two nuisance functions and the estimator based on it is a consistent estimator of the target parameter even if one of the nuisance functions is misspecified. In this paper, we consider a class of doubly robust moment functions originally introduced in (Robins et al., 2008). We demonstrate that this moment function can be used to construct estimating equations for the nuisance functions. The main idea is to choose each nuisance function such that it minimizes the dependency of the expected value of the moment function to the other nuisance function. We implement this idea as a minimax optimization problem. We then provide conditions required for asymptotic linearity of the estimator of the parameter of interest, which are based on the convergence rate of the product of the errors of the nuisance functions, as well as the local ill-posedness of a conditional expectation operator. The convergence rates of the nuisance functions are analyzed using the modern techniques in statistical learning theory based on the Rademacher complexity of the function spaces. We specifically focus on the case that the function spaces are reproducing kernel Hilbert spaces, which enables us to use its spectral properties to analyze the convergence rates. As an application of the proposed methodology, we consider the parameter of average causal effect both in presence and absence of latent confounders. For the case of presence of latent confounders, we use the recently proposed proximal causal inference framework of (Miao et al., 2018; Tchetgen Tchetgen et al., 2020), and hence our results lead to a robust non-parametric estimator for average causal effect in this framework.

研究动机与目标

• 开发一种基于双重稳健矩函数定义的参数的稳健非参数估计方法，尤其在模型误设情况下仍具稳健性。
• 解决在同时存在可观测和不可观测混杂因素时估计因果效应的挑战，采用近端因果推断框架。
• 基于干扰函数误差收敛速率和条件期望算子的病态性，建立参数估计量渐近线性的充分条件。
• 利用现代统计学习理论分析干扰函数的收敛速率，特别是再生核希尔伯特空间中的Rademacher复杂度。
• 为平均因果效应提供一个理论基础坚实的非参数估计量，即使两个干扰函数中有一个被误设，该估计量仍保持一致性。

提出的方法

• 将估计问题表述为极小化极大优化：最小化期望矩函数对另一干扰函数的敏感性，从而形成一个鞍点问题。
• 使用再生核希尔伯特空间（RKHS）来建模干扰函数，利用其谱性质进行收敛速率分析。
• 通过专用于RKHS的Rademacher复杂度界推导干扰函数估计量的收敛速率，确保对估计误差的控制。
• 基于双重稳健矩函数的结构，构建干扰函数的估计方程，实现联合估计。
• 通过分析两个干扰函数估计误差的乘积以及条件数学期望算子的局部病态性，建立参数估计量的渐近线性。
• 将该框架应用于近端因果推断设定下的平均因果效应估计，其中存在潜在混杂因素，传统方法失效。

实验结果

研究问题

• RQ1 能否使用极小化极大核机器学习方法，在模型误设条件下构造出对双重稳健功能性具有鲁棒性的估计量？
• RQ2 干扰函数估计量的收敛速率需满足何种条件，才能确保参数估计量的渐近线性？
• RQ3 条件期望算子的局部病态性如何影响估计效率和收敛速率？
• RQ4 当存在潜在混杂因素时，所提出的方法能否实现对平均因果效应的一致估计？
• RQ5 RKHS的谱性质在控制估计误差和确保理论保证方面起到何种作用？

主要发现

• 所提出的极小化极大核机器学习方法在涉及干扰函数估计误差乘积和条件期望算子病态性的条件下，可确保参数估计量的渐近线性。
• 通过再生核希尔伯特空间中的Rademacher复杂度界推导出干扰函数的收敛速率，为估计误差提供了理论控制。
• 该方法实现了双重稳健性：即使两个干扰函数中有一个被误设，估计量仍保持一致性。
• 该框架支持在存在潜在混杂因素的情况下，通过近端因果推断框架实现平均因果效应的非参数估计。
• RKHS的谱性质在刻画条件期望算子的病态性以及推导有限样本误差界方面起着关键作用。
• 在最小平滑性假设下建立了理论保证，使该方法适用于具有复杂依赖结构的广泛类别的半参数模型。