[论文解读] Learning to Diagnose with LSTM Recurrent Neural Networks

Zachary C. Lipton, David C. Kale+2 more|arXiv (Cornell University)|Nov 11, 2015

Machine Learning in Healthcare参考文献 45被引用 516

一句话总结

本文提出使用长短期记忆（LSTM）循环神经网络，从不规则采样的多变量临床ICU时间序列中对多标签诊断进行分类。通过在训练过程中应用目标复制和dropout，LSTM模型在仅使用原始时间序列的情况下，优于强基线模型（如基于手工特征训练的多层感知机（MLP）），证明了LSTM在无需大量特征工程的情况下，能够有效捕捉临床序列中的长程依赖关系。

ABSTRACT

Clinical medical data, especially in the intensive care unit (ICU), consist of multivariate time series of observations. For each patient visit (or episode), sensor data and lab test results are recorded in the patient's Electronic Health Record (EHR). While potentially containing a wealth of insights, the data is difficult to mine effectively, owing to varying length, irregular sampling and missing data. Recurrent Neural Networks (RNNs), particularly those using Long Short-Term Memory (LSTM) hidden units, are powerful and increasingly popular models for learning from sequence data. They effectively model varying length sequences and capture long range dependencies. We present the first study to empirically evaluate the ability of LSTMs to recognize patterns in multivariate time series of clinical measurements. Specifically, we consider multilabel classification of diagnoses, training a model to classify 128 diagnoses given 13 frequently but irregularly sampled clinical measurements. First, we establish the effectiveness of a simple LSTM network for modeling clinical data. Then we demonstrate a straightforward and effective training strategy in which we replicate targets at each sequence step. Trained only on raw time series, our models outperform several strong baselines, including a multilayer perceptron trained on hand-engineered features.

研究动机与目标

• 评估LSTM在学习不规则采样、多变量临床时间序列方面在ICU中的有效性。
• 解决临床序列建模中的挑战，包括序列长度可变、缺失数据以及长程依赖问题。
• 将LSTM性能与强基线模型进行比较，包括线性模型和基于手工特征训练的MLP。
• 研究正则化技术（如目标复制、辅助输出和dropout）在小规模临床数据集上的泛化能力提升效果。
• 探索在无需大量预处理或特征工程的情况下，直接使用原始时间序列数据的可行性。

提出的方法

• 模型使用单向LSTM处理13个不规则采样的临床测量值（如心率、血压）随时间的变化。
• 采用目标复制策略，即在每个时间步计算损失，并将最终时间步损失与平均时间步损失通过凸组合方式进行合并。
• 通过训练网络预测额外的临床变量来引入辅助输出，以提升泛化能力并减少过拟合。
• 在非循环连接上应用dropout，以进一步正则化模型并提升性能。
• 数据通过前向填充和后向填充进行预处理，时间序列被重采样为固定窗口，以标准化输入长度。
• 模型对128种常见诊断编码执行多标签分类，将诊断视为非互斥标签。

实验结果

研究问题

• RQ1 LSTM能否有效从原始、不规则采样的多变量临床时间序列中学习到有意义的表示，以实现多标签诊断分类？
• RQ2 目标复制是否能提升在临床序列任务中循环模型的训练稳定性和性能？
• RQ3 如辅助输出和dropout等正则化技术如何影响小规模临床数据集上的泛化能力？
• RQ4 在仅使用原始数据进行端到端训练的LSTM是否优于依赖手工特征的模型？
• RQ5 不同的数据窗口划分和插补策略如何影响模型性能和信息保留？

主要发现

• 在仅使用原始时间序列的情况下，采用目标复制和dropout的LSTM模型优于最佳基线模型（即基于手工特征训练的MLP）。
• 目标复制显著提升了性能并减少了过拟合，尤其在与dropout结合使用时，使更大容量模型的使用成为可能。
• 辅助输出与dropout的组合产生了矛盾的结果，表明其优势可能存在相互抵消，可能是因为目标复制已提供了较强的正则化效果。
• 在临床病程的前6小时和后6小时进行训练的表现优于仅使用最后12小时的数据，表明早期征象对诊断至关重要。
• 模型表明，LSTM能够有效捕捉临床序列中的长程依赖关系，即使症状在初始损伤发生数天后才出现。
• 本研究强调了在数据预处理中保留时间结构的重要性，因为当前的插补和重采样方法可能丢弃了宝贵的时间信息。