[论文解读] Directly Modeling Missing Data in Sequences with RNNs: Improved Classification of Clinical Time Series

Zachary C. Lipton, David C. Kale+1 more|arXiv (Cornell University)|Jun 13, 2016

Machine Learning in Healthcare被引用 39

一句话总结

本文提出通过在RNN中使用缺失值的二值指示符，直接建模临床时间序列中的缺失数据，显著提升了多标签诊断分类任务中的AUC和F1分数。结果表明，RNN能够从缺失模式中学习复杂依赖关系，其预测能力甚至可能超过某些疾病的检测结果本身。

ABSTRACT

We demonstrate a simple strategy to cope with missing data in sequential inputs, addressing the task of multilabel classification of diagnoses given clinical time series. Collected from the intensive care unit (ICU) of a major urban medical center, our data consists of multivariate time series of observations. The data is irregularly sampled, leading to missingness patterns in re-sampled sequences. In this work, we show the remarkable ability of RNNs to make effective use of binary indicators to directly model missing data, improving AUC and F1 significantly. However, while RNNs can learn arbitrary functions of the missing data and observations, linear models can only learn substitution values. For linear models and MLPs, we show an alternative strategy to capture this signal. Additionally, we evaluate LSTMs, MLPs, and linear models trained on missingness patterns only, showing that for several diseases, what tests are run can be more predictive than the results themselves.

研究动机与目标

• 解决重症监护病房（ICU）环境中不规则采样、多变量临床时间序列中的缺失数据问题。
• 评估RNN是否能够有效将缺失模式视为信号而非噪声进行建模。
• 比较RNN、LSTM、MLP和线性模型在仅基于缺失模式训练时的性能表现。
• 探究检测项目的选择模式是否在某些诊断中比实际检测值更具预测性。
• 提出一种简单但有效的策略，无需插补即可处理序列临床数据中的缺失数据。

提出的方法

• 使用二值指示符表示重采样后临床时间序列中的缺失状态，将缺失值视为信息性特征。
• 在包含指示缺失观测值的二值掩码的序列上训练RNN和LSTM模型。
• 使用AUC和F1作为评估指标，在多标签诊断分类任务上评估模型性能。
• 仅使用缺失模式（即执行了哪些检测）训练独立模型，以评估其在不依赖数值情况下的预测能力。
• 比较RNN学习缺失数据与观测值之间任意函数关系的能力，与线性模型依赖替代值的局限性。
• 对不规则采样ICU数据应用标准重采样方法，生成固定长度序列以支持建模。

实验结果

研究问题

• RQ1 RNN是否能够在不进行插补的情况下，有效从临床时间序列的缺失模式中学习？
• RQ2 与标准插补或替代方法相比，使用二值指示符直接建模缺失数据在分类性能上表现如何？
• RQ3 检测项目的选择模式在多大程度上可以独立于检测结果预测诊断？
• RQ4 当从缺失数据信号中学习时，RNN是否优于线性模型和MLP？
• RQ5 缺失模式本身的结构是否是多标签临床诊断分类中的有意义信号？

主要发现

• 使用缺失值二值指示符训练的RNN在多标签临床诊断分类任务中显著提升了AUC和F1分数。
• 检测项目的选择模式在某些诊断中可能比实际检测结果更具预测性，尤其在直接建模时表现更优。
• 线性模型和MLP同样受益于相同的二值缺失指示符，但其能力受限于基于替代值的信号学习，而RNN则具备更强的建模能力。
• 仅基于缺失模式训练的LSTM、MLP和线性模型也取得了有意义的性能表现，表明检测顺序和可及性本身携带诊断信息。
• 所提出的方法避免了插补，直接将缺失状态建模为信号，从而提升了在不规则采样临床数据上的模型鲁棒性与性能。
• RNN在学习缺失状态与临床结局之间复杂非线性关系方面，显著优于线性基线模型。