[论文解读] Modelling EHR timeseries by restricting feature interaction

Kun Zhang, Yuan Xue+4 more|arXiv (Cornell University)|Nov 14, 2019

Machine Learning in Healthcare参考文献 13被引用 6

一句话总结

该论文提出特征分组长短期记忆网络（FG-LSTM），通过限制特征交互以减少过拟合，从而对电子健康记录（EHR）时间序列进行建模。通过将每个临床特征视为一个独立组，包含标准化值、缺失指示符以及自上次测量以来的时间，该模型在MIMIC-III数据集上对死亡率、急性肾损伤（AKI）和ICD-9编码的预测性能得到提升，相较于最先进方法，AUC分别提高了1.1%（p<0.01）和1.0–2.2%（p<0.01）。

ABSTRACT

Time series data are prevalent in electronic health records, mostly in the form of physiological parameters such as vital signs and lab tests. The patterns of these values may be significant indicators of patients' clinical states and there might be patterns that are unknown to clinicians but are highly predictive of some outcomes. Many of these values are also missing which makes it difficult to apply existing methods like decision trees. We propose a recurrent neural network model that reduces overfitting to noisy observations by limiting interactions between features. We analyze its performance on mortality, ICD-9 and AKI prediction from observational values on the Medical Information Mart for Intensive Care III (MIMIC-III) dataset. Our models result in an improvement of 1.1% [p&lt;0.01] in AU-ROC for mortality prediction under the MetaVision subset and 1.0% and 2.2% [p&lt;0.01] respectively for mortality and AKI under the full MIMIC-III dataset compared to existing state-of-the-art interpolation, embedding and decay-based recurrent models.

研究动机与目标

• 解决在噪声大、存在缺失值的EHR时间序列数据上应用深度学习模型时的过拟合问题。
• 保留传统分桶方法中常被忽略的临床相关时间模式，如快速变化趋势和缺失模式。
• 利用原始、未聚合的EHR时间序列，提升对死亡率、AKI和ICD-9编码等临床结局的预测性能。
• 开发一种循环神经网络模型，限制跨特征交互，同时保持每个特征的表达性时间建模能力。
• 证明限制特征交互可增强EHR时间序列建模中的泛化能力和鲁棒性。

提出的方法

• 每个临床特征被表示为一组变量：标准化值（若缺失则插值）、二值缺失指示符，以及可选的自上次观测以来的时间。
• FG-LSTM使用受限的权重矩阵，允许在每个特征组内部交互，但禁止跨特征交互。
• 模型采用改进的LSTM方程，其中权重矩阵通过特征特定的掩码（M_w和M_u）相乘，以实现组间约束。
• 时间差被归一化至0到1之间，并用作输入以建模时间衰减和时间间隔。
• 所有特征组通过单个RNN处理，共享隐藏状态，从而在保持特征隔离的同时实现高效计算。
• 缺失值的插值采用线性且时间感知的方法，当未来值也缺失时采用前向填充。

实验结果

研究问题

• RQ1 在RNN中限制特征交互是否能提升EHR时间序列建模中的泛化能力并减少过拟合？
• RQ2 保留自上次测量以来的时间和缺失指示符是否能提升临床结局的预测性能？
• RQ3 FG-LSTM在死亡率和AKI预测任务上与最先进方法（包括插值、嵌入和衰减基RNN模型）相比表现如何？
• RQ4 缺失模式和快速值变化的时间模式在多大程度上贡献于预测能力？
• RQ5 一种独立处理各特征但联合建模的模型是否仍能捕捉到临床有意义的时间动态？

主要发现

• 在MetaVision子集上，FG-LSTM在死亡率预测的AU-ROC上相比最先进模型实现了1.1%的绝对提升（p<0.01）。
• 在完整的MIMIC-III数据集上，该模型在死亡率预测的AU-ROC上提升了1.0%（p<0.01）。
• 在AKI预测任务中，FG-LSTM相比现有方法实现了2.2%的AU-ROC提升（p<0.01）。
• 在所有评估的任务和数据集上，该模型均优于基线的插值、嵌入和衰减基RNN模型。
• 受限的网络架构通过防止短时间步内特征间的虚假相关性，有效减少了过拟合。
• 结果表明，限制特征交互可显著提升在噪声大、存在缺失值的EHR数据上的模型鲁棒性和预测准确性。