[论文解读] Censored Quantile Regression Forest

Alexander Hanbo Li, Jelena Bradić|arXiv (Cornell University)|Jan 8, 2020

Statistical Methods and Inference被引用 8

一句话总结

本文提出右删失分位数回归森林（Censored Quantile Regression Forest, CQRF），一种非参数方法，通过引入一种新型估计方程，使随机森林能够处理删失数据，该估计方程可自适应地应对删失情况，并在无删失情况下退化为分位数评分。该方法在保持森林灵活性的同时，无需参数假设即可一致估计生存时间结果的条件分位数，在异方差设定下尤其优于现有方法。

ABSTRACT

Random forests are powerful non-parametric regression method but are severely limited in their usage in the presence of randomly censored observations, and naively applied can exhibit poor predictive performance due to the incurred biases. Based on a local adaptive representation of random forests, we develop its regression adjustment for randomly censored regression quantile models. Regression adjustment is based on a new estimating equation that adapts to censoring and leads to quantile score whenever the data do not exhibit censoring. The proposed procedure named {\it censored quantile regression forest}, allows us to estimate quantiles of time-to-event without any parametric modeling assumption. We establish its consistency under mild model specifications. Numerical studies showcase a clear advantage of the proposed procedure.

研究动机与目标

• 解决在随机删失下缺乏稳健的非参数分位数回归方法的问题，特别是在参数假设不成立时。
• 克服现有基于森林的方法（如随机生存森林）的局限性，后者依赖于比例风险假设且不直接估计条件分位数。
• 开发一种灵活、假设极少的方法，保留删失观测的信息，同时实现对删失结果中异质性处理效应的估计。
• 通过使用局部相似性度量（森林权重）对删失数据进行重新参数化，实现无删失分位数森林技术向删失数据的无缝迁移。

提出的方法

• 提出一种可自适应删失的新型估计方程，在无删失情况下退化为标准分位数损失。
• 将随机森林重新表达为基于树结构导出的数据驱动核函数的局部加权回归，为每个观测定义“森林权重”。
• 利用这些森林权重构建加权回归问题，以在删失条件下估计条件分位数，且在弱正则性条件下保持一致性。
• 将估计方程整合进森林框架，使每棵树在生长过程中使用与删失分位数回归兼容的分裂规则。
• 提出两种条件生存函数估计器：一种基于最近邻，另一种为无参数估计器，利用森林权重构建。
• 将该方法应用于删失响应设定中，以估计异质性处理效应，充分发挥基于森林的非参数建模的灵活性。

实验结果

研究问题

• RQ1 在无参数假设下，随机森林能否有效适应随机删失情况下的条件分位数估计？
• RQ2 在异方差误差结构下，所提出的估计方程相较于现有方法（如随机生存森林和分位数森林）表现如何？
• RQ3 能否利用森林权重表示构建右删失数据中条件生存函数的一致估计器？
• RQ4 当结果变量被删失时，该方法是否在估计处理效应方面优于现有非参数方法？
• RQ5 删失机制对标准森林算法性能有何影响？CQRF如何缓解这一问题？

主要发现

• 删失分位数回归森林（CQRF）在弱模型规范下可实现条件分位数的一致估计，即使面对复杂的删失机制亦成立。
• 在异方差数据中，CQRF-quantile 是多种森林算法中唯一有效的工作方案，而随机生存森林无法捕捉分位数结构。
• 在模拟实验中，CQRF-generalized 的表现几乎与理想情形下的广义随机森林（GRF-oracle）相当，展现出强大的经验效率。
• 在含40%删失的BostonHousing数据集上，CQRF-quantile 在所有分位数下均实现最低的分位数损失，优于RSF和CRF-quantile。
• 在含60%删失的PBC数据集上，CQRF-quantile 达到最高的平均C指数（0.82，标准误0.02），显著优于其他竞争方法。
• 所提出的无参数生存函数估计器（公式10）在所有测试点上均提供稳定且准确的估计，优于基于最近邻的替代方法，因其无需调参。