[论文解读] INSPECT: A Multimodal Dataset for Pulmonary Embolism Diagnosis and Prognosis

Shih-Cheng Huang, Zepeng Huo+7 more|arXiv (Cornell University)|Nov 17, 2023

Venous Thromboembolism Diagnosis and Management被引用 7

一句话总结

INSPECT 引入一个用于肺栓塞诊断与预后的大型多模态数据集（CTPAs、放射科报告与纵向电子健康记录），并提供基线模型与多模态融合基准。

ABSTRACT

Synthesizing information from multiple data sources plays a crucial role in the practice of modern medicine. Current applications of artificial intelligence in medicine often focus on single-modality data due to a lack of publicly available, multimodal medical datasets. To address this limitation, we introduce INSPECT, which contains de-identified longitudinal records from a large cohort of patients at risk for pulmonary embolism (PE), along with ground truth labels for multiple outcomes. INSPECT contains data from 19,402 patients, including CT images, radiology report impression sections, and structured electronic health record (EHR) data (i.e. demographics, diagnoses, procedures, vitals, and medications). Using INSPECT, we develop and release a benchmark for evaluating several baseline modeling approaches on a variety of important PE related tasks. We evaluate image-only, EHR-only, and multimodal fusion models. Trained models and the de-identified dataset are made available for non-commercial use under a data use agreement. To the best of our knowledge, INSPECT is the largest multimodal dataset integrating 3D medical imaging and EHR for reproducible methods evaluation and research.

研究动机与目标

• 创建一个大规模、公开可用的多模态肺栓塞数据集，结合 3D CT 图像、放射科报告印象和纵向电子健康记录数据。
• 定义并标注八个与诊断及预后相关的任务，以基准多模态学习。
• 在这些任务上评估影像仅模型、EHR 仅模型以及多模态融合模型，以建立基线。
• 提供开源基线和训练模型，促进可重复的多模态肺栓塞研究。

提出的方法

• 从 19,402 名患者的 23,248 份 CTPA 研究中组建去标识化队列，包含配对的 DICOM CT 数据、放射科报告印象和结构化的 EHR。
• 通过 HU 重缩放、三视窗窗宽（肺部、栓塞、纵隔）处理 CTPA 图像为 224x224x3 的切片，并使用预训练图像编码器加上序列模型（LSTM/GRU/Transformer）。
• 使用基于计数的特征对 EHR 数据进行特征化，以用于梯度提升树（LightGBM），并将 MOTOR（一个面向事件时间的预训练 EHR 模型）通过线性探针适配用于预后任务。
• 定义八个诊断/预后任务（通过 NLP 印象进行 PE 诊断，以及包括 PH、住院死亡、再入院等的预后）并对未来事件缺失进行删失。
• 实施基线融合作为晚期融合，通过学习得到的逻辑回归将模态特异性预测进行组合。
• 在数据使用协议下发布代码和训练模型权重，以实现可重复的基准测试。

实验结果

研究问题

• RQ1 多模态模型（结合 CT 图像、放射科印象和纵向 EHR 数据）是否能在 PE 诊断与预后任务上优于单一模态模型？
• RQ2 哪些模态在诊断任务与预后任务中占主导地位，晚期融合如何影响性能？
• RQ3 当与影像数据结合时，预训练 EHR 基础模型（MOTOR）在 PE 预后预测中的迁移效果如何？
• RQ4 在单一站点数据集上进行多模态 PE 预测的局限性与泛化性考量是什么？

主要发现

• 仅影像的模型在 PE 诊断任务上表现出色，而结构化 EHR 模型在预后任务上表现更好。
• CT 与 EHR 模型的融合提高了诊断性能，但未能在预后任务上带来稳定提升。
• 在将 CT 与 EHR 相结合时，最佳配置在诊断任务上获得更高的 AUROC，相较于单一模态。
• 发布模型权重和基线以支持可重复性与进一步的多模态 PE 研究。
• INSPECT 代表迄今为止可公开获取的最大的多模态三维医疗影像与纵向 EHR 数据集，用于可重复的基准测试。