[论文解读] Improving Clinical Predictions through Unsupervised Time Series Representation Learning

Xinrui Lyu, Matthias Hüser+3 more|arXiv (Cornell University)|Dec 2, 2018

Machine Learning in Healthcare参考文献 17被引用 26

一句话总结

本文提出了一种新颖的无监督序列到序列预测模型（S2S-F-A），结合注意力机制，用于从无标签数据中学习临床时间序列表征。通过在大规模无标签ICU数据上进行预训练，该模型学习到可泛化的患者表征，显著提升了下游临床结局预测性能——如24小时死亡率和出院预测——相比端到端监督学习，尤其在低数据场景下表现更优。

ABSTRACT

In this work, we investigate unsupervised representation learning on medical time series, which bears the promise of leveraging copious amounts of existing unlabeled data in order to eventually assist clinical decision making. By evaluating on the prediction of clinically relevant outcomes, we show that in a practical setting, unsupervised representation learning can offer clear performance benefits over end-to-end supervised architectures. We experiment with using sequence-to-sequence (Seq2Seq) models in two different ways, as an autoencoder and as a forecaster, and show that the best performance is achieved by a forecasting Seq2Seq model with an integrated attention mechanism, proposed here for the first time in the setting of unsupervised learning for medical time series.

研究动机与目标

• 探究在无标签医疗时间序列上进行无监督表征学习是否能提升下游临床预测任务的性能。
• 评估不同自编码与预测架构在学习通用患者表征方面的性能表现。
• 确定在标签数据稀缺时，无监督预训练是否能优于端到端监督学习。
• 探讨注意力机制在提升临床时间序列表征质量中的作用。
• 评估所学表征在多种临床预测任务间的可迁移性。

提出的方法

• 作者采用基于长短期记忆（LSTM）单元的序列到序列（Seq2Seq）模型作为编码器和解码器，用于无监督表征学习。
• 通过在大小为T的滑动窗口上使用均方误差（MSE）损失，训练模型重建过去的时序信号。
• 提出一种新型基于预测的Seq2Seq模型（S2S-F），该模型预测未来时间步而非重建过去信号。
• 将注意力机制整合到S2S-F模型中（S2S-F-A），使解码器在预测过程中可聚焦于相关编码器状态。
• 将编码器学习到的表征作为下游分类器（如1层和3层LSTM）的输入特征。
• 在MIMIC-III数据集上评估模型，评估指标包括重建误差以及临床结局预测（死亡率、出院）的AUROC和AUPRC。

实验结果

研究问题

• RQ1 与端到端监督学习相比，在无标签医疗时间序列上进行无监督表征学习是否能提升对临床相关结局的预测性能？
• RQ2 基于预测的Seq2Seq模型是否在学习有用表征方面优于基于重建的自编码器？
• RQ3 将注意力机制整合到无监督Seq2Seq框架中对临床时间序列表征质量有何影响？
• RQ4 在标签数据有限的低数据场景下，无监督表征的性能表现如何？
• RQ5 从无标签数据中学习到的表征是否能在多个下游临床预测任务中实现良好泛化？

主要发现

• 结合预测与注意力机制的S2S-F-A模型在预测未来生理信号方面表现最佳，均方误差为0.0474 ± 0.003，优于所有基线模型。
• 在24小时死亡率预测任务中，S2S-F-A表征的AUROC为0.890 ± 0.009，AUPRC为0.201 ± 0.01，为所有方法中的最高值。
• 在仅1%标签数据的设置下，基于S2S-F-A表征训练的模型性能甚至优于更深的端到端监督模型（LSTM-3），证明了无监督预训练的优势。
• S2S-F-A模型在24小时出院预测任务中达到AUPRC 0.480 ± 0.007，为所有方法中的最高值，表明其在临床决策任务中具有强大泛化能力。
• 即使仅有75名标签患者（占数据的1%），无监督表征方法仍保持优越性能，表明其在数据稀缺的临床环境中具有实际应用价值。
• 结果证实，采用预测目标与注意力机制的无监督预训练可生成比基于重建的自编码器或简单基线方法更具信息量的表征。