[论文解读] Deep Learning for Quantile Regression: DeepQuantreg.

Yichen Jia, Jong‐Hyeon Jeong|arXiv (Cornell University)|Jul 14, 2020

Statistical Methods and Inference参考文献 21被引用 6

一句话总结

该论文提出 DeepQuantreg，一种用于右删失生存数据分位数回归的深度学习方法，通过在检查函数中结合估计的删失分布的逆概率加权，实现了对非线性模式的更优捕捉，即使在低维设置下也表现出色。该方法在模拟数据和乳腺癌基因特征数据集上的实验表明，其预测精度优于传统分位数回归方法。

ABSTRACT

The computational prediction algorithm of neural network, or deep learning, has drawn much attention recently in statistics as well as in image recognition and natural language processing. Particularly in statistical application for censored survival data, the loss function used for optimization has been mainly based on the partial likelihood from Cox's model and its variations to utilize existing neural network library such as Keras, which was built upon the open source library of TensorFlow. This paper presents a novel application of the neural network to the quantile regression for survival data with right censoring, which is adjusted by the inverse of the estimated censoring distribution in the check function. The main purpose of this work is to show that the deep learning method could be flexible enough to predict nonlinear patterns more accurately compared to the traditional method even in low-dimensional data, emphasizing on practicality of the method for censored survival data. Simulation studies were performed to generate nonlinear censored survival data and compare the deep learning method with the traditional quantile regression method in terms of prediction accuracy. The proposed method is illustrated with a publicly available breast cancer data set with gene signatures. The source code is freely available at this https URL.

研究动机与目标

• 开发一种灵活的深度学习框架，用于右删失生存数据的分位数回归。
• 解决传统分位数回归在低维生存数据中建模非线性关系的局限性。
• 将基于估计删失分布的逆概率加权整合到深度学习优化过程中。
• 展示深度学习在生存数据分析中相对于经典方法的实用性和预测优越性。

提出的方法

• 通过使用估计的删失分布的逆概率加权修改检查函数，将神经网络适配于分位数回归。
• 使用基于 TensorFlow 的 Keras 库实现深度学习模型，采用自定义损失函数处理删失数据。
• 应用经删失分布生存函数估计值的倒数调整的检查函数，以处理右删失。
• 在修改后的损失函数上使用随机梯度下降优化模型，以估计条件分位数。
• 采用多层前馈神经网络架构，以捕捉生存结果中的复杂非线性关系。
• 通过模拟研究和在公开乳腺癌基因数据集上的实际应用验证该方法。

实验结果

研究问题

• RQ1 深度学习模型能否在具有非线性模式的删失数据中，优于传统分位数回归预测生存结果？
• RQ2 基于删失分布的逆概率加权如何影响深度学习在分位数回归中的性能？
• RQ3 所提出的方法在低维生存数据设置下能保持多大程度的准确性？
• RQ4 在不同删失水平下，深度学习方法与经典方法在预测误差和鲁棒性方面有何比较？

主要发现

• 在模拟的非线性删失生存数据中，所提出的 DeepQuantreg 方法相比传统分位数回归显著降低了预测误差。
• DeepQuantreg 展现出优于经典方法的能力，能够更准确地捕捉生存结果中的复杂非线性关系。
• 逆概率加权的整合提升了深度学习模型在不同右删失水平下的鲁棒性。
• 在乳腺癌基因特征数据集的分析中，DeepQuantreg 提供了比传统方法更准确的分位数预测。
• 该方法在低维设置下仍保持优异性能，凸显其在真实世界生存分析中的实用价值。
• DeepQuantreg 的源代码已公开，支持可复现性，并促进其在生物医学研究中的广泛应用。