[论文解读] Deep Learning for Quantile Regression under Right Censoring: DeepQuantreg

Yichen Jia, Jong‐Hyeon Jeong|arXiv (Cornell University)|Jul 14, 2020

Statistical Methods and Inference被引用 5

一句话总结

该论文提出 DeepQuantreg，一种基于 Huber 检验函数与逆概率加权法的深度学习框架，用于在右删失生存数据下进行分位数回归，以处理删失问题。该方法在模拟和真实世界乳腺癌基因特征数据集中，相较于传统线性与非参数分位数回归，在预测非线性生存模式方面表现出更优的准确性和稳定性，且在多个分位数上表现一致。

ABSTRACT

The computational prediction algorithm of neural network, or deep learning, has drawn much attention recently in statistics as well as in image recognition and natural language processing. Particularly in statistical application for censored survival data, the loss function used for optimization has been mainly based on the partial likelihood from Cox's model and its variations to utilize existing neural network library such as Keras, which was built upon the open source library of TensorFlow. This paper presents a novel application of the neural network to the quantile regression for survival data with right censoring, which is adjusted by the inverse of the estimated censoring distribution in the check function. The main purpose of this work is to show that the deep learning method could be flexible enough to predict nonlinear patterns more accurately compared to existing quantile regression methods such as traditional linear quantile regression and nonparametric quantile regression with total variation regularization, emphasizing practicality of the method for censored survival data. Simulation studies were performed to generate nonlinear censored survival data and compare the deep learning method with existing quantile regression methods in terms of prediction accuracy. The proposed method is illustrated with two publicly available breast cancer data sets with gene signatures. The method has been built into a package and is freely available at \url{https://github.com/yicjia/DeepQuantreg}.

研究动机与目标

• 开发一种灵活的深度学习方法，用于在右删失生存数据下进行分位数回归，以应对传统方法在处理非线性关系时的困难。
• 通过在损失函数中引入基于 Huber 检验函数的逆概率删失加权（IPCW），解决生存数据中的删失问题。
• 提升相较于现有线性与非参数分位数回归方法的预测准确性，特别是在捕捉时间-事件数据中的非线性模式方面。
• 通过 Keras 和 TensorFlow 2.0 提供实用、开源的实现，支持 GPU 加速与预测区间生成。

提出的方法

• 该方法采用带有改进 Huber 检验函数的神经网络作为损失函数，以在右删失条件下优化分位数回归。
• 通过来自估计生存分布的逆概率加权（IPCW）调整删失，以校正删失观测值中的偏差。
• 架构采用全连接前馈网络，包含多层隐藏层与节点数，超参数在每折训练中进行调优。
• 集成正则化技术如 Dropout 与 L2 惩罚以防止过拟合，并通过 Keras/TensorFlow 2.0 支持 GPU 训练。
• 通过训练网络中各分位数的特定输出生成预测区间，实现概率预测。
• 使用自适应学习率的随机梯度下降进行模型训练，性能评估指标包括 C-index、MMSE 与分位数损失。

实验结果

研究问题

• RQ1 深度学习模型是否能有效捕捉右删失条件下时间-事件数据中的非线性关系，且在性能上优于传统线性与非参数分位数回归？
• RQ2 在 Huber 检验函数中引入逆概率加权，如何提升删失分位数回归中的估计准确性？
• RQ3 网络深度与宽度（隐藏层数与节点数）对删失生存数据中预测性能有何影响？
• RQ4 在包含基因表达与临床协变量的真实世界乳腺癌数据集上，该方法相较于现有方法表现如何？

主要发现

• 在 NKI70 数据集（n=144）中，DeepQuantreg 在所有分位数（25th、50th、75th）上均保持稳定性能，而传统与非参数方法在高分位数处性能下降，τ=0.75 时 C-index 达 0.734。
• 在 METABRIC 数据集（n=1884）中，DeepQuantreg 在所有指标上显著优于 Quantreg 与 rqss：τ=0.25 时 C-index 为 0.657，τ=0.75 时 MMSE 为 0.780，τ=0.75 时分位数损失为 0.342。
• 在 NKI70 数据中，DeepQuantreg 在 τ=0.75 时取得最低分位数损失（0.168），表明其在非线性更显著的高分位数上具有更优的预测准确性。
• 该方法在小样本至中等样本量及低维协变量下仍具鲁棒性，在重复的 2/3 训练与 1/3 测试划分中保持一致性能。
• 引入 Dropout 与 L2 正则化提升了泛化能力，且通过 Google Colab 支持 GPU 显著缩短了训练时间。
• 模型生成的预测区间与观测到的分位数性能一致，增强了临床可解释性。