[论文解读] Empirical Risk Minimization under Random Censorship: Theory and Practice

Guillaume Ausset, Stéphan Clémençon+1 more|arXiv (Cornell University)|Jun 5, 2019

Statistical Methods and Inference参考文献 43被引用 4

一句话总结

本文提出了一种基于Kaplan-Meier的插补估计器，用于在随机右删失下估计经验风险，使右删失生存数据回归中的经验风险最小化成为可能。在温和条件下，该偏差/加权风险泛函最小化器的学习速率可达到最优速率 $ O_{ {P}}( {sqrt}{\log n / n}) $，当忽略插补估计带来的模型偏差时，其性能与未删失情况下的经验风险最小化（ERM）相当。

ABSTRACT

We consider the classic supervised learning problem, where a continuous non-negative random label $Y$ (i.e. a random duration) is to be predicted based upon observing a random vector $X$ valued in $\mathbb{R}^d$ with $d\geq 1$ by means of a regression rule with minimum least square error. In various applications, ranging from industrial quality control to public health through credit risk analysis for instance, training observations can be right censored, meaning that, rather than on independent copies of $(X,Y)$, statistical learning relies on a collection of $n\geq 1$ independent realizations of the triplet $(X, \; \min\{Y,\; C\},\; δ)$, where $C$ is a nonnegative r.v. with unknown distribution, modeling censorship and $δ=\mathbb{I}\{Y\leq C\}$ indicates whether the duration is right censored or not. As ignoring censorship in the risk computation may clearly lead to a severe underestimation of the target duration and jeopardize prediction, we propose to consider a plug-in estimate of the true risk based on a Kaplan-Meier estimator of the conditional survival function of the censorship $C$ given $X$, referred to as Kaplan-Meier risk, in order to perform empirical risk minimization. It is established, under mild conditions, that the learning rate of minimizers of this biased/weighted empirical risk functional is of order $O_{\mathbb{P}}(\sqrt{\log(n)/n})$ when ignoring model bias issues inherent to plug-in estimation, as can be attained in absence of censorship. Beyond theoretical results, numerical experiments are presented in order to illustrate the relevance of the approach developed.

研究动机与目标

• 解决训练数据受随机右删失影响时回归问题中经验风险最小化的挑战，其中真实标签 $ Y $ 在随机删失时间 $ C $ 之后无法观测。
• 开发一种理论基础坚实的、基于插补的真风险估计器，通过利用给定 $ X $ 时删失变量 $ C $ 的条件生存函数的Kaplan-Meier估计器来考虑删失的影响。
• 为由此产生的加权经验风险泛函建立非渐近泛化界，确保在删失条件下学习速率接近最优。
• 在不同维度和删失率下，通过多种学习模型（线性回归、支持向量回归、随机森林）对方法进行经验验证。

提出的方法

• 通过将未观测到的给定 $ X $ 时删失 $ C $ 的生存函数替换为非参数Kaplan-Meier估计器，提出真风险的插补估计，从而得到一个加权经验风险泛函。
• 将Kaplan-Meier风险定义为标准经验风险的加权版本，其中权重来源于给定 $ X $ 时删失变量 $ C $ 的条件生存函数的倒数估计。
• 利用 $ U $-过程理论和最大偏差界分析加权风险的经验过程，建立风险估计器的集中不等式。
• 应用关于退化 $ U $-过程的推论8，通过VC型复杂度和有界性条件控制加权经验过程的偏差。
• 利用核密度估计和一致熵条件，推导估计风险与其期望之间上确界偏差的非渐近界。
• 采用双重稳健加权方案，同时考虑删失指示变量 $ \delta $ 和条件生存函数，确保在温和正则性条件下实现一致的风险估计。

实验结果

研究问题

• RQ1 能否将经验风险最小化一致地推广到右删失响应变量的回归问题中，其中真实标签在随机删失时间之后无法观测？
• RQ2 当使用基于Kaplan-Meier估计器来考虑删失影响的插补风险估计器时，经验风险最小化器可实现的最优学习速率是什么？
• RQ3 所提出的Kaplan-Meier风险估计器与忽略删失的朴素经验风险最小化方法相比表现如何，特别是在高维输入空间中？
• RQ4 在删失条件下，可为加权经验风险泛函建立怎样的非渐近泛化界？

主要发现

• 在温和正则性条件下，Kaplan-Meier风险泛函最小化器的学习速率为 $ O_{\mathbb{P}}(\sqrt{\log n / n}) $，与无删失情况下可达到的最优速率一致。
• 所提出的方法通过使用基于删失变量 $ C $ 给定 $ X $ 的条件生存函数的Kaplan-Meier估计器的插补估计器，实现了风险估计的一致性。
• 数值实验表明，基于IPCW的估计器显著优于忽略删失的朴素ERM方法，尤其在高删失率和高维情况下表现更优。
• 该方法在多种模型中均保持了强大的泛化性能，包括线性回归、支持向量回归和随机森林，且在 $ L^2 $ 误差上表现出一致的改进。
• 理论分析证实，通过 $ U $-过程理论可良好控制加权经验风险过程，其偏差界按 $ O(\sqrt{\log n / n}) $ 的速率缩放。
• 该方法对插补估计带来的模型偏差具有鲁棒性，即使在理论分析中忽略此类偏差，学习速率仍保持最优。