[论文解读] BenchMD: A Benchmark for Unified Learning on Medical Images and Sensors

Kathryn Wantlin, Chenwei Wu+13 more|arXiv (Cornell University)|Apr 17, 2023

COVID-19 diagnosis using AI被引用 10

一句话总结

BenchMD 在跨越 19 个真实世界医疗数据集、覆盖 7 种模态的统一、模态无关学习进行评估，评估 ID 与 OOD 性能，包含少样本和 SSL/预训练情景。

ABSTRACT

Medical data poses a daunting challenge for AI algorithms: it exists in many different modalities, experiences frequent distribution shifts, and suffers from a scarcity of examples and labels. Recent advances, including transformers and self-supervised learning, promise a more universal approach that can be applied flexibly across these diverse conditions. To measure and drive progress in this direction, we present BenchMD: a benchmark that tests how well unified, modality-agnostic methods, including architectures and training techniques (e.g. self-supervised learning, ImageNet pretraining),perform on a diverse array of clinically-relevant medical tasks. BenchMD combines 19 publicly available datasets for 7 medical modalities, including 1D sensor data, 2D images, and 3D volumetric scans. Our benchmark reflects real-world data constraints by evaluating methods across a range of dataset sizes, including challenging few-shot settings that incentivize the use of pretraining. Finally, we evaluate performance on out-of-distribution data collected at different hospitals than the training data, representing naturally-occurring distribution shifts that frequently degrade the performance of medical AI models. Our baseline results demonstrate that no unified learning technique achieves strong performance across all modalities, leaving ample room for improvement on the benchmark. Code is released at https://github.com/rajpurkarlab/BenchMD.

研究动机与目标

• 推动开发通用、模态无关的医学AI学习方法。
• 评估统一架构和训练技术在多种医学模态上的表现。
• 在标签稀缺和分布漂移下评估性能，以反映现实世界的约束。
• 提供一个标准化、公开可访问的基准，包含真实世界任务和经专家验证的数据集。

提出的方法

• 采用模态无关的变换器架构，设有独立的 1D、2D 和 3D 嵌入模块，将输入投影到一个共享的 256 维空间。
• 用三种 SSL 目标进行预训练：e-Mix（对比嵌入混合）、ShED（随机化嵌入预测）和 MAE（掩码自编码）。
• 在各模态上，将 SSL 方法与 ImageNet 预训练（2D 模态）以及从头开始的基线进行比较。
• 采用线性评估和微调训练，改变标签可用性（单标签任务每类 8、64、256 个标签）。
• 评估对分布外目标数据集的零样本迁移，以衡量在分布漂移下的泛化能力。
• 标准化预处理和验证指标；以 AUROC 作为评估指标。

实验结果

研究问题

• RQ1 统一学习技术是否在多种医疗模态上表现出高性能？
• RQ2 在不同模态下，标签可用性和分布漂移对性能的影响有多大？
• RQ3 哪种预训练策略（SSL、ImageNet 或从头开始训练）能在各模态上获得鲁棒的 OOD 泛化？
• RQ4 单一架构/方法能否在 1D、2D 和 3D 医学数据上实现强结果？

主要发现

• 没有一种单一技术在所有模态上都占据主导；性能因模态和数据集而异。
• ImageNet 预训练在若干 2D 模态（X 光胸片 CXRs、乳腺摄影、眼底影像 fundus）上通常优于 SSL，但在 OOD 的皮肤镜图像中，SSL 可以超过。
• MAE 在 EEG 和某些皮肤镜数据集上表现出色，但在其他模态如 ECG 上表现不足；e-Mix 和 ShED 展现出模态特异性优势。
• 从头开始训练很少为最佳，但在某些设置中仍具竞争力；整体而言，SSL 基线提供适度增益。
• 两阶段预训练（先 ImageNet 再进行像 MAE 这样的 SSL）对某些 2D 模态可带来收益。
• 标签可用性通常提升 OOD 性能，尽管在某些情况下使用全部数据可能会过拟合。