[论文解读] Improving Medical Predictions by Irregular Multimodal Electronic Health Records Modeling

Xinlu Zhang, Shiyang Li+3 more|arXiv (Cornell University)|Oct 18, 2022

Machine Learning in Healthcare被引用 5

一句话总结

该论文提出了一种统一框架，通过联合处理多变量时间序列和临床记录中的不规则性，对重症监护病房（ICU）中的不规则多模态电子健康记录（EHR）进行建模。该框架采用时间序列的门控机制和临床记录的时间注意力机制，随后进行交错式多模态融合。该方法在时间序列、临床记录和多模态融合任务上分别实现了6.5%、3.6%和4.3%的相对F1分数提升，达到当前最先进性能。

ABSTRACT

Health conditions among patients in intensive care units (ICUs) are monitored via electronic health records (EHRs), composed of numerical time series and lengthy clinical note sequences, both taken at irregular time intervals. Dealing with such irregularity in every modality, and integrating irregularity into multimodal representations to improve medical predictions, is a challenging problem. Our method first addresses irregularity in each single modality by (1) modeling irregular time series by dynamically incorporating hand-crafted imputation embeddings into learned interpolation embeddings via a gating mechanism, and (2) casting a series of clinical note representations as multivariate irregular time series and tackling irregularity via a time attention mechanism. We further integrate irregularity in multimodal fusion with an interleaved attention mechanism across temporal steps. To the best of our knowledge, this is the first work to thoroughly model irregularity in multimodalities for improving medical predictions. Our proposed methods for two medical prediction tasks consistently outperforms state-of-the-art (SOTA) baselines in each single modality and multimodal fusion scenarios. Specifically, we observe relative improvements of 6.5\%, 3.6\%, and 4.3\% in F1 for time series, clinical notes, and multimodal fusion, respectively. These results demonstrate the effectiveness of our methods and the importance of considering irregularity in multimodal EHRs.

研究动机与目标

• 解决ICU EHR中多变量时间序列和临床记录的不规则采样问题。
• 将来自多种模态的不规则时间模式整合到统一的多模态表示中，以提升医疗预测性能。
• 克服现有方法中忽略临床记录或多模态融合中不规则性的问题。
• 开发一个统一系统，同时对所有模态中的不规则性进行建模，从而提升预测的鲁棒性和准确性。
• 展示通过门控机制动态整合多种时间序列嵌入方法的优势。

提出的方法

• 提出一种新颖的门控机制UTDE，动态融合手工填补嵌入和学习插值嵌入，用于处理不规则时间序列。
• 通过预训练语言模型对临床记录进行嵌入，并将其视为多变量不规则时间序列，采用时间注意力机制（mTAND）建模笔记表示中的不规则时间模式。
• 多模态融合策略通过在时间步上交错使用自注意力和交叉注意力层，整合表示的同时保留不规则时间结构。
• 该模型利用不同的TDE方法（如填补和学习插值）作为UTDE中的互补子模块，门控机制学习每个患者最优的融合权重。
• 该框架在MIMIC-III数据上端到端训练，用于死亡率和表型预测任务。
• 通过在多种主干网络（LSTM、CNN）和输入序列长度上评估，以检验模型的鲁棒性和泛化能力。

实验结果

研究问题

• RQ1 统一框架能否有效建模多模态EHR中多变量时间序列和临床记录的不规则性？
• RQ2 通过门控机制动态融合多种时间序列嵌入方法，是否相比仅使用单一方法能提升预测性能？
• RQ3 除了简单的拼接外，对临床记录中的不规则性进行建模能在多大程度上提升多模态预测的准确性？
• RQ4 在多模态融合中，通过时间步交错注意力如何改善对不规则时间模式的整合？
• RQ5 所提出的模型在不同时间序列编码器和临床记录输入序列长度下是否具有鲁棒性？

主要发现

• 所提出的UTDE模块在时间序列预测任务中，相比最佳基线，F1分数相对提升了6.5%。
• 基于mTAND的时间注意力机制在临床记录预测中相比忽略时间不规则性的基线，F1分数提升了3.6%。
• 结合UTDE和mTAND的多模态融合模型在F1分数上实现了4.3%的相对提升，证明了在多模态中建模不规则性的优势。
• 消融实验证实，移除UTDE或mTAND会导致性能显著下降，验证了在两种模态中建模不规则性的必要性。
• 该模型在不同时间序列编码器（LSTM、CNN）上均持续优于基线，显示出良好的泛化能力和鲁棒性。
• 增加临床记录的最大输入序列长度可提升所有指标的性能，凸显了长上下文建模在多模态融合中的价值。