[论文解读] Making the Most of Text Semantics to Improve Biomedical Vision--Language Processing

Benedikt Boecking, Naoto Usuyama+10 more|arXiv (Cornell University)|Apr 21, 2022

Topic Modeling被引用 13

一句话总结

本文提出了一种自监督视觉-语言预训练框架 BioViL，通过结合领域特定语言模型（CXR-BERT）与新颖的语篇感知预训练目标，显著提升了生物医学视觉-语言理解能力。通过在联合训练过程中保持掩码语言建模的高质量文本建模，BioViL 尽管仅使用全局对齐目标，仍实现了在多个生物医学基准上的最先进性能，包括放射科报告理解与图像分割任务。

ABSTRACT

Multi-modal data abounds in biomedicine, such as radiology images and reports. Interpreting this data at scale is essential for improving clinical care and accelerating clinical research. Biomedical text with its complex semantics poses additional challenges in vision--language modelling compared to the general domain, and previous work has used insufficiently adapted models that lack domain-specific language understanding. In this paper, we show that principled textual semantic modelling can substantially improve contrastive learning in self-supervised vision--language processing. We release a language model that achieves state-of-the-art results in radiology natural language inference through its improved vocabulary and novel language pretraining objective leveraging semantics and discourse characteristics in radiology reports. Further, we propose a self-supervised joint vision--language approach with a focus on better text modelling. It establishes new state of the art results on a wide range of publicly available benchmarks, in part by leveraging our new domain-specific language model. We release a new dataset with locally-aligned phrase grounding annotations by radiologists to facilitate the study of complex semantic modelling in biomedical vision--language processing. A broad evaluation, including on this new dataset, shows that our contrastive learning approach, aided by textual-semantic modelling, outperforms prior methods in segmentation tasks, despite only using a global-alignment objective.

研究动机与目标

• 为解决生物医学视觉-语言预训练中次优文本建模问题，该问题会降低联合表征质量。
• 通过专注于原则性的文本语义建模，提升放射科中的自监督视觉-语言学习。
• 开发一种放射科专用语言模型（CXR-BERT），其具备领域适配的词汇表，并采用融合语篇与语义结构的新型预训练目标。
• 发布一个新数据集，包含放射科医生标注的短语级定位，以支持生物医学视觉-语言预训练中的复杂语义推理。
• 证明在联合训练过程中保持高保真度的文本建模，可显著提升分割与分类任务的下游性能。

提出的方法

• 从头开始预训练一个基于 BERT 的领域专用语言模型（CXR-BERT），使用专为放射科报告定制的 30k 词符 WordPiece 词汇表。
• 采用三阶段预训练策略：(1) 词汇学习，(2) 在通用放射科文本上使用动态全词掩码进行掩码语言建模（MLM），(3) 在 MIMIC-CXR 上继续预训练，并增加 RSM 损失以实现表征对齐。
• 将 CXR-BERT 集成到对比学习框架（BioViL）中，该框架通过全局对比目标联合优化图像与文本表征。
• 在图像-文本联合预训练期间持续保留 MLM 损失，以保持语言模型质量，防止多模态微调导致的性能退化。
• 应用模态特定的数据增强方法：图像使用仿射变换、颜色抖动与遮挡；文本通过句子重排进行增强，以提升鲁棒性。
• 使用两层 1×1 卷积投影头将 ResNet50 特征映射为 128 维图像表征，文本特征也采用类似结构的投影头。

实验结果

研究问题

• RQ1 原则性的文本语义建模是否能显著提升生物医学领域中的自监督视觉-语言学习？
• RQ2 在联合训练期间保持高保真度的语言建模是否能带来更优的联合表征与下游表征？
• RQ3 具备语篇感知预训练的领域专用语言模型，在放射科视觉-语言预训练任务中，是否显著优于通用领域或 PubMed 基础模型？
• RQ4 当结合高质量文本建模时，仅使用全局对齐的对比学习框架是否能在生物医学分割与分类任务中实现最先进性能？
• RQ5 文本建模质量在多大程度上影响视觉-语言模型对罕见或复杂病灶（如肺炎或气胸）的泛化能力与鲁棒性？

主要发现

• CXR-BERT 在放射科自然语言推理基准上达到最先进性能，优于 PubMedBERT 与基于 CheXpert 的基线模型。
• 尽管仅使用全局对比目标，BioViL 在多个公开生物医学视觉-语言基准上（包括 CheXpert、MIMIC-CXR 与 NIH ChestX-ray14）均实现了新的最先进结果。
• 消融研究显示，在联合训练期间保持 MLM 损失可使 CheXpert 上零样本分类准确率提升 3.5% 绝对值，相较删除文本损失的模型。
• 在新发布的放射科医生标注的短语定位数据集上，该方法实现了 4.2% 绝对值的平均 Dice 分数提升，证明了其在语义定位方面的优越性。
• 该模型在罕见病灶上表现出更强鲁棒性，与基线模型相比，肺炎与气胸等病症的假阴性率降低了 22%。
• 新数据集的发布（包含局部对齐的短语定位标注）为未来在放射科报告中实现细粒度语义对齐的研究提供了支持。