[论文解读] MedPrompt: Cross-Modal Prompting for Multi-Task Medical Image Translation

Xuhang Chen, Chi‐Man Pun+1 more|arXiv (Cornell University)|Oct 4, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用 3

一句话总结

MedPrompt 提出了一种用于多任务医学图像翻译的跨模态提示框架，采用自适应提示模块，并结合提示提取与融合机制，通过 Transformer 编码器增强全局特征学习。该方法在五个数据集和四对模态上实现了最先进性能，展现出卓越的视觉质量与泛化能力，且仅需单阶段训练。

ABSTRACT

Cross-modal medical image translation is an essential task for synthesizing missing modality data for clinical diagnosis. However, current learning-based techniques have limitations in capturing cross-modal and global features, restricting their suitability to specific pairs of modalities. This lack of versatility undermines their practical usefulness, particularly considering that the missing modality may vary for different cases. In this study, we present MedPrompt, a multi-task framework that efficiently translates different modalities. Specifically, we propose the Self-adaptive Prompt Block, which dynamically guides the translation network towards distinct modalities. Within this framework, we introduce the Prompt Extraction Block and the Prompt Fusion Block to efficiently encode the cross-modal prompt. To enhance the extraction of global features across diverse modalities, we incorporate the Transformer model. Extensive experimental results involving five datasets and four pairs of modalities demonstrate that our proposed model achieves state-of-the-art visual quality and exhibits excellent generalization capability.

研究动机与目标

• 为解决现有医学图像翻译模型在捕捉多样化模态间跨模态与全局特征方面的局限性。
• 开发一种多功能、多任务框架，可在无需为每对模态重新训练的情况下泛化于不同模态对。
• 通过将模态特定提示与基于 Transformer 的全局上下文建模相结合，提升翻译保真度。
• 通过实现多模态翻译任务的单阶段训练，降低训练复杂度。

提出的方法

• 自适应提示模块通过模态特定提示动态引导翻译网络，使其能够适应不同的输入-输出模态对。
• 提示提取模块（PEB）通过编码每种输入模态的独特特征，生成模态特定的提示权重。
• 提示融合模块（PFB）根据提示对目标模态的相关性，自适应地融合提取的提示，从而增强跨模态特征对齐。
• 集成基于 Transformer 的编码器，以捕捉长距离空间依赖关系与全局上下文，提升在多样化模态上的特征表示能力。
• 该框架采用单阶段训练流程，联合优化多个模态翻译任务，提升训练效率与泛化能力。
• 模型通过端到端训练，结合循环一致性损失与感知损失，确保生成图像在结构与纹理上的保真度。

实验结果

研究问题

• RQ1 是否能够通过统一框架有效翻译多组医学成像模态对，而无需为每对模态分别训练独立模型？
• RQ2 如何高效地编码并融合模态特定的跨模态特征，以提升翻译准确性？
• RQ3 引入基于 Transformer 的架构在多任务医学图像翻译中在多大程度上增强了全局特征学习？
• RQ4 与传统的基于 CNN 或 GAN 的方法相比，所提出的提示机制是否能显著提升在多样化成像模态间的泛化能力？
• RQ5 单阶段训练流程是否能够在多个模态翻译任务中实现最先进性能？

主要发现

• MedPrompt 在五个数据集和四对模态上均实现了最先进性能，无论在定量指标还是视觉质量方面均优于现有方法。
• 若移除提示提取模块（PEB）或提示融合模块（PFB），PSNR 下降约 3 dB，SSIM 下降 0.7 dB，MAE 下降 2 dB，表明二者在多任务学习中起关键作用。
• 若移除 Transformer 模块，PSNR 下降 2 dB，SSIM 下降 0.03 dB，MAE 下降 0.5 dB，证实其在全局特征学习中的贡献。
• 视觉对比显示，MedPrompt 在所有数据集与模态对中，其结果在形状、细节与纹理保真度方面最接近真实图像。
• 该方法仅需一次训练过程即可完成所有模态的翻译，相较于多阶段或成对特定的方法，显著提升了训练便捷性。
• 该模型展现出强大的泛化能力，无需微调即可成功实现多样化模态间的翻译，如 MRI 到 CT、T1 到 T2、CT 到 CBCT。