[论文解读] Hybrid Gradient Boosting Trees and Neural Networks for Forecasting Operating Room Data

Hugh Chen, Scott Lundberg+1 more|arXiv (Cornell University)|Jan 23, 2018

Machine Learning in Healthcare参考文献 10被引用 8

一句话总结

本论文提出一种混合模型，结合通过单变量长短期记忆网络（LSTM）进行的监督表示学习与梯度提升树（XGBoost），用于预测手术室内的低氧血症。通过在单个时间序列特征上训练LSTM以提取潜在表示，并将这些表示与处理后的特征（如指数移动平均线）一起输入XGBoost，该方法实现了24.8%的PR-AUC，显著优于单一模型的表现，表明LSTM能有效捕捉长期依赖关系，而XGBoost则能高效整合多种静态与动态特征。

ABSTRACT

Time series data constitutes a distinct and growing problem in machine learning. As the corpus of time series data grows larger, deep models that simultaneously learn features and classify with these features can be intractable or suboptimal. In this paper, we present feature learning via long short term memory (LSTM) networks and prediction via gradient boosting trees (XGB). Focusing on the consequential setting of electronic health record data, we predict the occurrence of hypoxemia five minutes into the future based on past features. We make two observations: 1) long short term memory networks are effective at capturing long term dependencies based on a single feature and 2) gradient boosting trees are capable of tractably combining a large number of features including static features like height and weight. With these observations in mind, we generate features by performing "supervised" representation learning with LSTM networks. Augmenting the original XGB model with these features gives significantly better performance than either individual method.

研究动机与目标

• 通过机器学习改进手术室内低氧血症的预测，解决现有模型在长期依赖关系建模与特征整合方面存在的局限性。
• 探究通过LSTM进行的监督表示学习是否能从时间序列生理数据中提取出对可解释模型有用的有意义潜在特征。
• 评估梯度提升树是否能有效结合LSTM提取的表示与传统的时间序列处理特征，以提升预测性能。
• 确定LSTM提取的特征是否提供了超越标准统计特征（如指数移动平均线（EMAs）和指数移动方差（EMVs））的额外预测能力。
• 开发一种可泛化、易访问的生物医学时间序列预测框架，采用开源工具与模块化组件集成。

提出的方法

• 在单个时间序列特征（如SaO2、ETCO2）上训练单变量LSTM网络，通过监督表示学习学习潜在表示。
• 使用训练好的LSTM的倒数第二层作为密集特征向量（200维），以表示时间模式与长期依赖关系。
• 通过多个alpha值的指数移动平均线（EMAs）与指数移动方差（EMVs）对时间序列数据进行预处理，以增强鲁棒性。
• 将LSTM提取的隐藏特征与处理后的时间序列特征（EMAs/EMVs）以及静态患者特征（如体重、年龄、ASA代码）整合，输入最终的XGBoost模型。
• 使用逻辑目标函数训练XGBoost，学习率为0.02，最大深度为6，子采样率为0.5，以优化曲线下面积（PR-AUC）为目标。
• 随机化训练顺序，并在LSTM训练期间应用dropout与循环dropout，以防止过拟合。

实验结果

研究问题

• RQ1 单变量LSTM网络是否能有效学习单个生理时间序列特征（如SaO2）中的长期时间依赖关系，以支持临床预测？
• RQ2 将LSTM提取的潜在表示与传统时间序列特征（如EMAs/EMVs）结合，是否能提升低氧血症预测性能，优于单独使用任一方法？
• RQ3 静态患者特征（如体重、年龄）在预测性能中的贡献程度如何？梯度提升树是否能有效整合这些特征？
• RQ4 LSTM提取的隐藏特征是否提供了超越标准统计特征（如EMAs与EMVs）的信息？
• RQ5 深度学习与基于树的集成方法相结合的混合模型，是否能在保持可解释性与临床可用性的前提下实现更优的预测性能？

主要发现

• 使用XGBoost结合处理后特征（EMAs/EMVs）与LSTM提取的隐藏特征的混合模型，在测试集上实现了0.24836的PR-AUC，为所有测试模型中的最高值。
• 仅使用处理后特征（40个特征）的XGBoost模型实现了0.22999的PR-AUC，显著优于仅使用LSTM的模型（0.20580），表明XGBoost在特征交互与整合方面具有显著优势。
• LSTM提取的隐藏特征（200维）在性能上优于仅使用LSTM最终输出概率的情况，表明倒数第二层捕捉到了更丰富的表示。
• 仅使用处理后特征与LSTM隐藏特征的模型（模型5）优于仅使用LSTM输出概率的模型，表明隐藏表示中包含比最终预测头更多的预测信息。
• 即使在处理特征中排除SaO2，LSTM隐藏特征的引入仍能提升性能（PR-AUC为0.24678），表明其捕捉到了主时间序列信号之外的信息。
• 该方法计算效率高，最慢的XGBoost模型训练时间约为4小时，且使用Keras与XGBoost等开源工具，具备良好的可泛化性与可访问性。