[论文解读] MOTOR: A Time-To-Event Foundation Model For Structured Medical Records

Ethan Steinberg, Jason Fries+2 more|arXiv (Cornell University)|Jan 9, 2023

Machine Learning in Healthcare被引用 7

一句话总结

MOTOR 是一种自监督的时间到事件（TTE）基础模型，在 5500 万份患者记录（90 亿个临床事件）上使用一种新颖的预训练目标进行预训练，该目标利用数千个 TTE 任务来学习稳健的时序表征。与最先进模型相比，它在时间依赖性 C 统计量上提升了 4.6%，实现了 95% 的标签效率增益，并在多种医疗数据集中展现出强大的可迁移性和鲁棒性，标志着首个公开发布的医疗 TTE 预测基础模型。

ABSTRACT

We present a self-supervised, time-to-event (TTE) foundation model called MOTOR (Many Outcome Time Oriented Representations) which is pretrained on timestamped sequences of events in electronic health records (EHR) and health insurance claims. TTE models are used for estimating the probability distribution of the time until a specific event occurs, which is an important task in medical settings. TTE models provide many advantages over classification using fixed time horizons, including naturally handling censored observations, but are challenging to train with limited labeled data. MOTOR addresses this challenge by pretraining on up to 55M patient records (9B clinical events). We evaluate MOTOR's transfer learning performance on 19 tasks, across 3 patient databases (a private EHR system, MIMIC-IV, and Merative claims data). Task-specific models adapted from MOTOR improve time-dependent C statistics by 4.6% over state-of-the-art, improve label efficiency by up to 95% ,and are more robust to temporal distributional shifts. We further evaluate cross-site portability by adapting our MOTOR foundation model for six prediction tasks on the MIMIC-IV dataset, where it outperforms all baselines. MOTOR is the first foundation model for medical TTE predictions and we release a 143M parameter pretrained model for research use at [redacted URL].

研究动机与目标

• 为解决电子健康记录（EHR）中时间到事件（TTE）建模因标注数据有限而导致的泛化能力和准确性受限的问题。
• 开发一种基础模型，能够从大规模未标注 EHR 数据中学习广泛适用的时序表征，从而提升在多样化医疗预测任务中的迁移学习性能。
• 克服现有自回归预训练目标的局限性，这些目标无法捕捉医疗 TTE 建模中至关重要的长期时间跨度。
• 构建一种可扩展、高效的架构，支持数千个 TTE 预训练任务，同时将内存使用量降低最多 35%。
• 发布一个公开可用的、参数量为 14300 万的预训练 MOTOR 模型，以支持可复现的研究，并加速医疗 TTE 建模的发展。

提出的方法

• 提出一种新颖的自监督预训练目标，利用 8192 个 TTE 任务（如预测特定诊断或手术的时间）作为预训练信号，学习在多种临床结果间具有泛化能力的表征。
• 采用基于 Transformer 的分段指数模型架构，通过共享的时间依赖权重和稀疏性设计，实现大规模 TTE 预训练的高效扩展，同时降低内存使用量。
• 使用条件香农熵选择预训练任务，该方法考虑了临床编码之间的分层本体关系，优先选择在父类编码给定条件下具有高预测不确定性的编码。
• 采用对比学习风格的目标，使模型在预训练期间能够同时预测多种临床事件的时间到事件结果。
• 通过微调方式适应预训练的 MOTOR 编码器，用于下游 TTE 任务，实现在极少标注数据下的迁移学习。
• 采用基于条件熵的选择策略，识别出最具信息量的 8192 个临床编码用于预训练，平衡其频率与本体结构。

Figure 1: MOTOR architecture and TTE pretraining tasks, as applied to a patient. Note how tasks (survival curves) vary at each time step $j$ , e.g., atorvastatin risk increases given a history of cardiovascular disorders.

实验结果

研究问题

• RQ1 在大规模未标注 EHR 数据上进行自监督基础模型预训练，是否能显著提升在多样化医疗任务中的时间到事件预测性能？
• RQ2 一种利用数千个 TTE 任务的预训练目标，是否在学习医疗序列的有用时序表征方面优于标准的自回归预训练？
• RQ3 MOTOR 在多大程度上提升了标签效率，使得在下游 TTE 任务中仅用极少标注数据即可达到高性能？
• RQ4 MOTOR 在不同患者群体和医疗系统之间的时间分布偏移下，其鲁棒性如何？
• RQ5 一个单一的预训练 MOTOR 模型是否能在无需微调的情况下，有效泛化到多个数据集（包括 EHR 和账单数据）？

主要发现

• 与最先进模型相比，MOTOR 在 19 项多样化医疗预测任务上的时间依赖性 C 统计量平均提升 4.6%。
• MOTOR 实现了高达 95% 的标签效率提升，显著减少了达到下游任务峰值性能所需的标注样本数量。
• 该模型在不同患者群体和数据源之间的时间分布偏移下表现出强大的鲁棒性，性能保持稳定。
• 所提出的 TTE 预训练目标在下游性能上比标准自回归预训练高出 2.0%，验证了其有效性。
• MOTOR 在 MIMIC-IV 数据集的六个预测任务中达到最先进水平，且在跨站点迁移学习中优于所有基线模型。
• 发布的 14300 万个参数的 MOTOR 模型是首个公开可用的结构化医疗记录时间到事件预测基础模型。

Figure 2: Per-time horizon performance differences (in time-dependent C statistic) when replacing autoregressive pretraining with TTE pretraining. Blue indicates better performance with TTE pretraining and red indicates worse.