[论文解读] Deep Neural Networks for Survival Analysis Based on a Multi-Task Framework

Stephane Fotso|arXiv (Cornell University)|Jan 17, 2018

Machine Learning in Healthcare参考文献 15被引用 110

一句话总结

本文提出 Neural Multi-Task Logistic Regression (N-MTLR)，这是 MTLR 的深度学习扩展用于生存分析，在存在非线性依赖时对生存预测优于 MTLR 和 CoxPH，并且实现于 TensorFlow/Keras。

ABSTRACT

Survival analysis/time-to-event models are extremely useful as they can help companies predict when a customer will buy a product, churn or default on a loan, and therefore help them improve their ROI. In this paper, we introduce a new method to calculate survival functions using the Multi-Task Logistic Regression (MTLR) model as its base and a deep learning architecture as its core. Based on the Concordance index (C-index) and Brier score, this method outperforms the MTLR in all the experiments disclosed in this paper as well as the Cox Proportional Hazard (CoxPH) model when nonlinear dependencies are found.

研究动机与目标

• 在医疗之外的行业中，推动对事件发生时间的预测的生存分析（如流失、购买、违约）的研究。
• 通过利用 MTLR 和深度学习，克服 CoxPH 的局限性（比例风险、线性风险、基线未知）。
• 提出 Neural MTLR (N-MTLR) 以在保持 MTLR 的区间基生存建模的同时捕捉非线性依赖。

提出的方法

• 基于 Multi-Task Logistic Regression 来对跨越 J 个时间区间的生存进行建模，使用密度函数和生存函数。
• 用深度神经网络（MLP）替代 MTLR 的线性核心，通过一个非线性映射 psi(x) 到一个 J 维输出来捕捉非线性关系。
• 使用非线性 psi(x) 计算密度 f(a_s|x) 和生存 S(t|x)，采用与 MTLR 相同的 Delta 和 Y 构造以及 psi(x) 的归一化 Z(psi(x))。
• 在 Python 中使用 TensorFlow 2 和 Keras 实现该模型，并采用标准深度学习技巧（初始化、优化器、激活函数、批归一化、 dropout）。
• 使用与生存数据兼容的训练方法，并在右伪删失下用 C-index 和 Brier score（以及 IBS）来评估。
• 提供带有 2-hidden-layer 网络和多种激活函数的示例，以说明非线性建模的收益。

实验结果

研究问题

• RQ1 在具有线性、非线性平方和非线性高斯风险函数的合成数据上，N-MTLR 是否优于线性 MTLR 和 CoxPH？
• RQ2 真实数据集（WHAS、veteran）中的非线性依赖是否使 N-MTLR 相对于传统生存模型具有明显优势？
• RQ3 在删失下，C-index 和 Brier score（IBS）在 CoxPH、MTLR 与 N-MTLR 之间的比较如何？
• RQ4 在现实任务中应用 MTLR 的 Python/TensorFlow/Keras 实现是否实用且具有优势？

主要发现

• 在线性风险数据上，CoxPH、MTLR 和 N-MTLR 显示出相似的性能（C-index 约为 0.74；IBS 约在 0.10–0.12）。
• 在非线性平方风险数据上，CoxPH 和 MTLR 表现不佳，而 N-MTLR 实现更高的 C-index（0.70）和更低的 IBS（0.12），相比 CoxPH（0.53）和 MTLR（0.53）。
• 在非线性高斯风险数据上，N-MTLR 在三种模型中取得最佳的 C-index（0.60）和 IBS（0.13）。
• 真实数据结果在 WHAS 和 veteran 数据集上显示各模型性能相当，N-MTLR 通常至少具有竞争力（例如 WHAS：C-index 为 0.80，而 CoxPH 为 0.79），IBS 也类似（~0.17）。
• 在所有实验中，当存在非线性依赖时，N-MTLR 持续优于 MTLR，并且达到或超过 CoxPH，展示了深度非线性核心的优势。