[论文解读] An Efficient Training Algorithm for Kernel Survival Support Vector Machines

Sebastian Pölsterl, Nassir Navab+1 more|arXiv (Cornell University)|Nov 21, 2016

Face and Expression Recognition被引用 32

一句话总结

本文提出了一种针对核生存支持向量机（SSVMs）的高效原始优化算法，结合截断牛顿优化与顺序统计树，将训练复杂度从 O(n⁴) 的空间和 O(pn⁶) 的时间降低至 O(n²) 的空间和显著更低的时间复杂度。该方法在不牺牲预测性能的前提下，实现了对大规模、高度右删失生存数据集的可扩展训练，尤其在高删失率（≥85%）下显著优于先前方法，并通过核函数支持复杂结构化数据。

ABSTRACT

Survival analysis is a fundamental tool in medical research to identify predictors of adverse events and develop systems for clinical decision support. In order to leverage large amounts of patient data, efficient optimisation routines are paramount. We propose an efficient training algorithm for the kernel survival support vector machine (SSVM). We directly optimise the primal objective function and employ truncated Newton optimisation and order statistic trees to significantly lower computational costs compared to previous training algorithms, which require $O(n^4)$ space and $O(p n^6)$ time for datasets with $n$ samples and $p$ features. Our results demonstrate that our proposed optimisation scheme allows analysing data of a much larger scale with no loss in prediction performance. Experiments on synthetic and 5 real-world datasets show that our technique outperforms existing kernel SSVM formulations if the amount of right censoring is high ($\geq85\%$), and performs comparably otherwise.

研究动机与目标

• 为解决训练核SSVM的高计算成本问题，此前其空间复杂度为O(n⁴)，时间复杂度为O(pn⁶)，其中n为样本数，p为特征数。
• 实现对大规模生存数据中高右删失率场景下非线性SSVM的可扩展训练，使现有方法变得不可行。
• 通过原始优化与高级数据结构，将先前高效的线性SSVM算法扩展至非线性核情形。
• 在真实世界与合成生存数据集上提升预测性能，尤其当删失率超过85%时。
• 通过核函数支持复杂结构化数据（如图、字符串）在生存建模中的应用。

提出的方法

• 该方法直接优化核SSVM的原始目标函数，而非对偶形式，从而避免对偶变量的计算。
• 采用截断牛顿优化方法，高效求解原始空间中的大规模非线性优化问题。
• 利用顺序统计树加速识别有效的成对比较 (i,j)，其中 yᵢ > yⱼ 且 δⱼ = 1，这些是排序损失的关键。
• 通过避免存储完整的核矩阵或对偶变量，将空间复杂度保持在 O(n²)。
• 该方法是先前线性SSVM算法的直接扩展，通过核技巧与原始优化适配非线性核情形。
• 实现代码已公开，获取地址为 https://github.com/tum-camp/survival-support-vector-machine。

实验结果

研究问题

• RQ1 与现有基于对偶的方法相比，原始优化方法是否能显著降低核SSVM训练的计算复杂度？
• RQ2 在右删失率较高（≥85%）的生存数据集上，所提算法表现如何？
• RQ3 使用顺序统计树与截断牛顿优化是否能实现在大规模生存数据集上的可扩展训练，同时保持预测准确性？
• RQ4 与现有核SSVM公式相比，该方法在运行时间与高删失率下的性能表现如何？
• RQ5 该方法是否能有效利用结构化数据表示（如通过临床核）同时保持效率与准确性？

主要发现

• 所提算法将空间复杂度从 O(n⁴) 降低至 O(n²)，使此前不可行的大规模数据集训练成为可能。
• 当右删失数据比例 ≥85% 时，该方法在性能上显著优于现有核SSVM公式，尤其在AIDS与冠状动脉疾病数据集上表现突出。
• 在删失率较低的数据集上，该方法与Minlip模型及其他SSVM变体性能相当，但无显著优势。
• 简化版SSVM（限制可比较对集合P）表现较差，且被线性SSVM超越，表明限制P集合无效。
• 临床核在性能上始终优于RBF核与线性模型，且当与所提方法结合时，取得最佳结果。
• 统计分析显示，总体上各模型在预测性能上无显著差异，但所提方法因具备更优的可扩展性与高删失条件下的鲁棒性而更受青睐。