[论文解读] LViT: Language meets Vision Transformer in Medical Image Segmentation

Zihan Li, Yunxiang Li+7 more|arXiv (Cornell University)|Jun 29, 2022

Radiomics and Machine Learning in Medical Imaging被引用 8

一句话总结

LViT 提出了一种视觉-语言变换器模型，通过整合医学文本注释来提升医学图像分割性能，尤其在低资源和半监督设置下表现优异。通过利用文本引导伪标签生成，并引入指数伪标签迭代机制，LViT 在仅使用25%标注数据的情况下，实现了与全监督模型相当的最先进性能。

ABSTRACT

Deep learning has been widely used in medical image segmentation and other aspects. However, the performance of existing medical image segmentation models has been limited by the challenge of obtaining sufficient high-quality labeled data due to the prohibitive data annotation cost. To alleviate this limitation, we propose a new text-augmented medical image segmentation model LViT (Language meets Vision Transformer). In our LViT model, medical text annotation is incorporated to compensate for the quality deficiency in image data. In addition, the text information can guide to generate pseudo labels of improved quality in the semi-supervised learning. We also propose an Exponential Pseudo label Iteration mechanism (EPI) to help the Pixel-Level Attention Module (PLAM) preserve local image features in semi-supervised LViT setting. In our model, LV (Language-Vision) loss is designed to supervise the training of unlabeled images using text information directly. For evaluation, we construct three multimodal medical segmentation datasets (image + text) containing X-rays and CT images. Experimental results show that our proposed LViT has superior segmentation performance in both fully-supervised and semi-supervised setting. The code and datasets are available at https://github.com/HUANGLIZI/LViT.

研究动机与目标

• 解决医学图像分割任务中高质量标注数据有限的挑战。
• 通过整合专家撰写的临床文本，提升半监督学习中伪标签的质量。
• 开发一种多模态框架，联合学习图像与文本信息，以提升分割性能。
• 在无需额外标注成本的前提下，有效利用电子病历中已存在的临床文本注释。
• 通过将注意力机制与文本提供的病灶定位对齐，提升模型可解释性。

提出的方法

• LViT 采用 CNN-Transformer 混合架构，并引入像素级注意力模块（PLAM），在保留局部图像特征的同时捕捉全局上下文信息。
• 文本特征通过可学习嵌入层进行编码，而非完整的文本编码器，从而减少模型参数量。
• 提出指数伪标签迭代（EPI）机制，利用指数移动平均逐步优化伪标签，结合有标签与无标签数据。
• 引入一种新型 LV（语言-视觉）损失，直接利用文本嵌入监督无标签图像的训练，实现端到端的文本引导学习。
• 文本输入以结构化临床描述（如病灶位置）形式提供，经分词后注入视觉变换器编码器。
• 模型在三个多模态数据集上进行训练，结合了 X 射线与 CT 图像及放射科医生标注的文本描述。

实验结果

研究问题

• RQ1 医学文本注释是否能提升低资源设置下的分割性能？
• RQ2 文本引导的伪标签优化能否增强医学图像分割中的半监督学习？
• RQ3 整合临床文本是否能改善对病灶区域的注意力定位？
• RQ4 视觉-语言模型是否能在仅使用25%标注数据的情况下，实现与全监督模型相当的性能？
• RQ5 文本输入如何影响注意力图与模型在病灶检测中的可解释性？

主要发现

• 在 MosMedData+ 数据集上，LViT 达到 74.57% 的 Dice 分数与 61.33% 的 mIoU，优于 UNet、UNet++、nnUNet 与 TransUNet。
• 在 QaTa-COV19 数据集上，LViT 达到 83.66% 的 Dice 分数与 75.11% 的 mIoU，展现出在 COVID-19 肺部分割任务中的强大性能。
• 在 ESO-CT 数据集上，LViT 达到 71.53% 的 Dice 分数与 59.94% 的 mIoU，表明其在不同解剖区域的鲁棒性。
• 仅使用 1/4 训练标签时，LViT-T 的性能与全监督模型相当，证实其在低数据场景下的有效性。
• GradCAM 可视化结果表明，当提供文本信息时，LViT-TW 与 LViT-T 模型对病灶区域的关注更加准确，显著减少了非目标区域的误激活。
• 引入文本信息后，注意力分布发生显著变化，即使图像特征本身无法激活病灶区域，DownViT1 层也能成功激活病灶区域。