[论文解读] DeViDe: Faceted medical knowledge for improved medical vision-language pre-training

Haozhe Luo, Ziyu Zhou+3 more|arXiv (Cornell University)|Apr 4, 2024

Medical and Biological Sciences被引用 4

一句话总结

DeViDe 提出了一种用于胸部 X 光片的新型视觉-语言预训练框架，通过双向 Transformer 架构整合多维度医学知识——放射科报告、医学定义以及来自开放网络的放射影像视觉描述——并采用多粒度对齐损失。该方法在三个大规模数据集上实现了最先进的零样本性能，并在分类与分割任务中展现出优异的微调结果，其中视觉描述在某些病理性病变中带来了高达 6.6% 的 AUC 提升。

ABSTRACT

Vision-language pre-training for chest X-rays has made significant strides, primarily by utilizing paired radiographs and radiology reports. However, existing approaches often face challenges in encoding medical knowledge effectively. While radiology reports provide insights into the current disease manifestation, medical definitions (as used by contemporary methods) tend to be overly abstract, creating a gap in knowledge. To address this, we propose DeViDe, a novel transformer-based method that leverages radiographic descriptions from the open web. These descriptions outline general visual characteristics of diseases in radiographs, and when combined with abstract definitions and radiology reports, provide a holistic snapshot of knowledge. DeViDe incorporates three key features for knowledge-augmented vision language alignment: First, a large-language model-based augmentation is employed to homogenise medical knowledge from diverse sources. Second, this knowledge is aligned with image information at various levels of granularity. Third, a novel projection layer is proposed to handle the complexity of aligning each image with multiple descriptions arising in a multi-label setting. In zero-shot settings, DeViDe performs comparably to fully supervised models on external datasets and achieves state-of-the-art results on three large-scale datasets. Additionally, fine-tuning DeViDe on four downstream tasks and six segmentation tasks showcases its superior performance across data from diverse distributions.

研究动机与目标

• 为解决当前胸部 X 光片视觉-语言预训练中有效医学知识整合的不足，特别是对原始放射科报告和抽象定义的过度依赖。
• 通过在不同粒度下引入详细、多源的医学知识，提升模型对齐能力。
• 开发一种知识增强型视觉-语言预训练框架，以提升在多样化临床数据分布下的零样本与少样本泛化能力。
• 探究放射影像视觉描述对医学影像中模型性能与可解释性的影响。
• 构建一种统一且可扩展的方法，实现图像特征与多样化文本医学知识的对齐，且无需额外标注。

提出的方法

• DeViDe 采用双向 Transformer 架构，将图像特征、放射科报告、医学定义以及从开放网络获取的放射性实体视觉描述统一输入。
• 利用大语言模型对异构来源的医学知识进行同质化与标准化，确保术语与结构的一致性。
• 模型通过两种新型损失函数进行训练：用于局部图像-文本对应关系的图像块到文本对齐损失（$\mathcal{L}_{pta}$）和用于全局对齐的文本到图像对比损失（$\mathcal{L}_{tnc}$）。
• 引入一种新型投影层，实现多标签图像到描述的对齐，使单张图像可关联多个详细视觉描述。
• 通过专用的知识检索层实现知识注入，利用交叉注意力机制将文本描述定位到图像的相关区域。
• 该框架无需额外标注，仅依赖图像与报告配对的弱监督信号。

实验结果

研究问题

• RQ1 将来自开放网络的放射影像视觉描述整合进来，如何提升医学视觉-语言预训练中的零样本性能？
• RQ2 多粒度损失（$\mathcal{L}_{pta}$ 与 $\mathcal{L}_{tnc}$）在提升图像区域与文本知识之间对齐方面的作用有多大？
• RQ3 与完全监督基线相比，DeViDe 是否能在无需微调的情况下实现零样本设置下的最先进性能？
• RQ4 DeViDe 的模型初始化在少样本和微调场景中如何提升数据效率与收敛性？
• RQ5 详细视觉描述在异常检测中的模型可解释性与定位准确性方面有何贡献？

主要发现

• DeViDe 在三个大规模数据集上实现了最先进的零样本性能：ChestX-ray14（AUC 0.7771）、CheXpert（AUC 0.8998）和 PadChest（AUC 0.7465）。
• 在零样本评估中，DeViDe 在外部数据集上的表现与完全监督模型相当，展现出强大的泛化能力。
• 消融实验表明，移除 $\mathcal{L}_{pta}$ 会使两个数据集的 AUC 下降最高达 3%，证实其在局部对齐中的关键作用。
• 视觉描述的引入使 PadChest 数据集中骨折类别的 AUC 提升最高达 6.6%，凸显其显著影响。
• 在四个分类任务和六个分割任务上进行微调时，DeViDe 初始化的模型收敛至更优的最优解，并展现出更高的数据效率。
• 定性分析表明，注意力图与解剖区域对齐良好，弥漫性病变（如“弥漫性结节”）获得更广泛的注意力，而局灶性病变（如“结节”）则获得更集中的注意力。