[论文解读] Accelerated and interpretable oblique random survival forests

Byron C. Jaeger, Sawyer Welden+5 more|arXiv (Cornell University)|Aug 1, 2022

Data Analysis with R被引用 5

一句话总结

本文提出了一种加速且可解释的斜向随机生存森林（aorsf），通过牛顿-拉夫森评分法显著降低计算成本——实现约450倍的速度提升——同时保持高预测精度。该方法提出‘否定变量重要性’来通过翻转系数解释特征贡献，相较于置换法和SHAP方法，在模拟实验中更优地识别出相关预测因子。

ABSTRACT

The oblique random survival forest (RSF) is an ensemble supervised learning method for right-censored outcomes. Trees in the oblique RSF are grown using linear combinations of predictors, whereas in the standard RSF, a single predictor is used. Oblique RSF ensembles have high prediction accuracy, but assessing many linear combinations of predictors induces high computational overhead. In addition, few methods have been developed for estimation of variable importance (VI) with oblique RSFs. We introduce a method to increase computational efficiency of the oblique RSF and a method to estimate VI with the oblique RSF. Our computational approach uses Newton-Raphson scoring in each non-leaf node, We estimate VI by negating each coefficient used for a given predictor in linear combinations, and then computing the reduction in out-of-bag accuracy. In benchmarking experiments, we find our implementation of the oblique RSF is hundreds of times faster, with equivalent prediction accuracy, compared to existing software for oblique RSFs. We find in simulation studies that ‘negation VI’ discriminates between relevant and irrelevant numeric predictors more accurately than permutation VI, Shapley VI, and a technique to measure VI using analysis of variance. All oblique RSF methods in the current study are available in the aorsf R package, and additional supplemental materials are available online.

研究动机与目标

• 为解决斜向随机生存森林（RSFs）的高计算成本问题，该问题限制了其在大规模生存数据分析中的应用。
• 提升斜向RSFs的可解释性，因为现有变量重要性方法（如置换法）由于预测因子的线性组合而效果较差。
• 开发一种可扩展、高效的算法，通过在每个树节点内对Cox部分似然使用牛顿-拉夫森评分法拟合斜向RSFs。
• 提出一种新型变量重要性方法——‘否定重要性’——通过翻转系数而非置换值来评估预测因子的影响。
• 在基准测试和模拟研究中，评估加速aorsf及其变量重要性方法相对于现有方法的性能。

提出的方法

• 在每个非叶节点中应用牛顿-拉夫森评分法优化Cox部分似然，以减少寻找最优预测因子线性组合的搜索空间。
• 采用快速、迭代的优化方法识别用于节点分裂的最佳预测因子线性组合，取代对所有可能组合的穷举搜索。
• 通过在每个线性组合中翻转预测因子的系数，重新评估袋外预测精度，并通过下降量估计重要性，实现‘否定变量重要性’。
• 将加速拟合与变量重要性方法整合进aorsf R包中，实现开源使用与可复现性。
• 使用时间依赖性 concordance 和Brier评分，将所提方法与现有实现（如obliqueRSF、ranger、xgboost）进行性能比较。
• 通过具有不同相关性、样本量和预测因子效应的模拟研究，测试变量重要性方法的稳健性与判别能力。

实验结果

研究问题

• RQ1 牛顿-拉夫森优化是否能在不牺牲预测精度的前提下显著降低斜向RSFs的计算负担？
• RQ2 ‘否定变量重要性’是否比置换重要性、SHAP或基于ANOVA的方法更可靠地区分相关与无关预测因子？
• RQ3 加速aorsf在预测精度与运行时间方面，与现有RSF及生存模型实现相比表现如何？
• RQ4 所提方法在包含相关预测因子与非线性效应的多样化数据结构中是否保持或提升判别能力？
• RQ5 aorsf方法是否能一致地识别出生存预测任务中的主效应、交互效应与组合效应？

主要发现

• 加速aorsf实现的运行速度约为现有斜向RSF软件的450倍，时间依赖性 concordance（c-index）相当，Brier评分更优。
• ‘否定重要性’方法在区分相关与无关预测因子方面优于置换重要性、SHAP与基于ANOVA的重要性方法，尤其在高相关性与非线性情境下表现更优。
• 在2,500个观测与30个预测因子的模拟中，否定重要性对主效应的判别准确率达99.8%，显著高于置换重要性的95.2%。
• 对于组合效应，否定重要性在n=2,500时达到99.8%的判别准确率，显著优于置换法（89.0%）与SHAP法（97.9%）。
• aorsf方法在所有基准测试任务中均保持高预测精度，c-index值在0.705至0.797之间，且大多数数据集的计算时间低于2秒。
• 包含所有所提方法的aorsf R包，使大规模生物医学数据的高效且可解释的生存建模成为可能。