[论文解读] MedKLIP: Medical Knowledge Enhanced Language-Image Pre-Training in Radiology

Chaoyi Wu, Xiaoman Zhang+3 more|arXiv (Cornell University)|Jan 5, 2023

Multimodal Machine Learning Applications被引用 7

一句话总结

MedKLIP 提出了一种医学知识增强的放射科视觉-语言预训练框架，通过从报告中提取医学三元组、利用知识库增强描述，并通过基于 Transformer 的融合模型将三元组与图像块对齐，从而提升零样本和微调后的疾病分类与定位性能。该方法在多个基准测试中达到最先进水平，包括在 RSNA Pneumonia 数据集上达到 0.87 的指向游戏得分，在未见的 Covid-19 定位任务上达到 0.58 的得分。

ABSTRACT

In this paper, we consider enhancing medical visual-language pre-training (VLP) with domain-specific knowledge, by exploiting the paired image-text reports from the radiological daily practice. In particular, we make the following contributions: First, unlike existing works that directly process the raw reports, we adopt a novel triplet extraction module to extract the medical-related information, avoiding unnecessary complexity from language grammar and enhancing the supervision signals; Second, we propose a novel triplet encoding module with entity translation by querying a knowledge base, to exploit the rich domain knowledge in medical field, and implicitly build relationships between medical entities in the language embedding space; Third, we propose to use a Transformer-based fusion model for spatially aligning the entity description with visual signals at the image patch level, enabling the ability for medical diagnosis; Fourth, we conduct thorough experiments to validate the effectiveness of our architecture, and benchmark on numerous public benchmarks, e.g., ChestX-ray14, RSNA Pneumonia, SIIM-ACR Pneumothorax, COVIDx CXR-2, COVID Rural, and EdemaSeverity. In both zero-shot and fine-tuning settings, our model has demonstrated strong performance compared with the former methods on disease classification and grounding.

研究动机与目标

• 为解决现有医学视觉-语言预训练模型忽略领域特定医学知识且依赖原始非结构化报告的局限性。
• 通过在预训练过程中融入细粒度医学知识，提升零样本和少样本疾病分类与视觉定位性能。
• 通过实体级监督实现预测结果的空间对齐视觉证据，增强模型可解释性。
• 开发一种鲁棒的知识增强表征学习框架，使其在未见疾病和低数据场景下具有良好泛化能力。

提出的方法

• 引入三元组抽取模块，将原始放射科报告解析为 (实体, 位置, 存在性) 结构化三元组，降低语言复杂度的同时保留临床语义。
• 查询知识库，将医学实体翻译为详细且标准化的描述，以领域特定知识丰富文本嵌入。
• 采用基于 Transformer 的融合模块，实现图像区域与实体描述之间的像素级对齐，支持局部监督与视觉定位。
• 在 MIMIC-CXR 数据集上使用图像块与增强文本嵌入之间的对比学习进行预训练，随后在下游任务上进行微调。
• 该框架支持零样本和微调推理，评估涵盖多个公开基准，包括 ChestX-ray14、RSNA Pneumonia 和 SIIM-ACR Pneumothorax。

Figure 1 : Our method mainly considers combining medical knowledge with VLP. We propose Triplet Extraction and Entity Translation modules, so that the network can be supervised with detailed entity-level signals.

实验结果

研究问题

• RQ1 从放射科报告中结构化提取医学三元组是否能提升视觉-语言预训练中监督信号的质量？
• RQ2 通过实体翻译引入外部医学知识，是否能增强对未见疾病的零样本泛化能力？
• RQ3 图像区域与医学实体描述之间的像素级对齐，是否能提升视觉定位准确率与模型可解释性？
• RQ4 在多样化放射科任务中，知识增强预训练相较于标准 VLP 方法，在低数据和零样本设置下的表现如何？

主要发现

• 在 RSNA Pneumonia 数据集上，MedKLIP 将指向游戏得分从 0.83 提升至 0.87，零样本定位的检测精确率从 0.50 提升至 0.64。
• 在未见疾病检测（Covid-19）中，MedKLIP 达到 0.58 的指向游戏得分，显著优于先前最先进方法的 0.40。
• 在零样本分类任务中，MedKLIP 在所有评估基准（包括 ChestX-ray14、SIIM-ACR Pneumothorax 和 COVIDx CXR-2）上均优于现有方法。
• 在微调设置下，MedKLIP 在所有分类任务中均达到最先进 AUC 得分，尤其在低数据场景（1% 和 10% 数据）下表现出强大的数据效率。
• 在分割任务中，MedKLIP 显著超越现有最先进方法，尤其在具有挑战性的气胸和密度病灶定位任务中表现突出。
• 在新型分级任务中，MedKLIP 在所有严重程度等级（0–3）下均取得最高的宏平均 AUC、F1 和准确率，表明其在细粒度疾病评估方面表现优异。

Figure 2 : The whole framework of our method. We first pre-process the report into triplets leveraging triplet extraction module. Then we encode the extracted triplets and it is worth emphasizing that we translate the entities into detailed descriptions during encoding, by querying the medical knowl