[论文解读] Advancing Radiograph Representation Learning with Masked Record Modeling

Hong-Yu Zhou, Chenyu Lian+2 more|arXiv (Cornell University)|Jan 30, 2023

COVID-19 diagnosis using AI被引用 18

一句话总结

MRM 引入一个统一的预训练框架，能够对放射影像补丁及相关报告标记进行联合遮罩与重建，在 chest X-ray 任务上实现强烈的标注高效迁移。

ABSTRACT

Modern studies in radiograph representation learning rely on either self-supervision to encode invariant semantics or associated radiology reports to incorporate medical expertise, while the complementarity between them is barely noticed. To explore this, we formulate the self- and report-completion as two complementary objectives and present a unified framework based on masked record modeling (MRM). In practice, MRM reconstructs masked image patches and masked report tokens following a multi-task scheme to learn knowledge-enhanced semantic representations. With MRM pre-training, we obtain pre-trained models that can be well transferred to various radiography tasks. Specifically, we find that MRM offers superior performance in label-efficient fine-tuning. For instance, MRM achieves 88.5% mean AUC on CheXpert using 1% labeled data, outperforming previous R$^2$L methods with 100% labels. On NIH ChestX-ray, MRM outperforms the best performing counterpart by about 3% under small labeling ratios. Besides, MRM surpasses self- and report-supervised pre-training in identifying the pneumonia type and the pneumothorax area, sometimes by large margins.

研究动机与目标

• 激励将自监督放射影像学习与报告监督放射影像学习结合起来，以利用互补信号。
• 提出一个统一的预训练框架，联合完成被遮罩的放射影像和被遮罩的放射科报告。
• 学习在低标签情境下也能泛化的可迁移放射影像表征。
• 通过 MRM 预训练在多个公开胸部 X 光数据集上展示更好的性能。

提出的方法

• 对低分辨率放射影像及相关报告进行高遮盖比的随机遮罩。
• 使用放射影像编码器生成补丁嵌入，支持高分辨率补丁重建与报告标记重建。
• 将全局放射影像表征加到非遮罩的报告标记嵌入上，形成用于报告重建的混合表征（遮罩语言建模）。
• 通过基于补丁的图像解码器从低分辨率输入恢复高分辨率放射影像补丁（MIM 损失）。
• 以多任务目标进行训练，将报告的遮罩语言建模损失与图像重建的均方误差损失结合起来（L = L_R + lambda L_I）。
• 通过在 NIH ChestX-ray、CheXpert、RSNA Pneumonia、SIIM 和 COVID-19 数据集上的下游分类和分割任务微调预训练的图像编码器来演示迁移。

实验结果

研究问题

• RQ1 自监督（仅图像）和报告监督（基于文本）的放射影像表征能否被有效地统一？
• RQ2 在有限标签下，联合学习被遮罩的图像重建和被遮罩的报告重建是否能改善迁移？
• RQ3 在多个胸部 X 线基准数据集上，随着不同的标签比例，MRM 的表现如何？
• RQ4 多任务遮罩和超分辨率重建对下游性能的贡献是什么？

主要发现

• MRM 在 CheXpert 上在 1% 标签数据下实现 88.5% 的平均 AUC，优于使用 100% 标签的先前方法。
• 在 NIH ChestX-ray 上，MRM 在小标签比下比最优对手高约 3%。
• 在若干任务中，MRM 在识别肺炎类型和气胸区域方面超越了自监督和报告监督预训练。
• 在有限监督下，MRM 在 CheXpert、RSNA Pneumonia 和 SIIM 上持续优于 CONVIRT、GLoRIA、REFERS 及其他基线。
• 消融实验表明，遮罩报告建模与遮罩放射影像建模均带来增益，超分辨率重建在不同标签情境下提供额外收益。