[论文解读] Transformers in Medical Imaging: A Survey

Fahad Shamshad, Salman Khan+5 more|arXiv (Cornell University)|Jan 24, 2022

Advanced Neural Network Applications被引用 15

一句话总结

本综述全面回顾了视觉Transformer（ViT）在医学影像中的应用，涵盖分割、分类、检测、重建及临床报告生成。它分析了网络架构设计，识别了特定应用的挑战，并突出显示了相关趋势，为研究人员在这一快速发展的领域中提供了路线图，重点关注全局上下文建模，而非CNN的局部归纳偏置。

ABSTRACT

Following unprecedented success on the natural language tasks, Transformers have been successfully applied to several computer vision problems, achieving state-of-the-art results and prompting researchers to reconsider the supremacy of convolutional neural networks (CNNs) as {de facto} operators. Capitalizing on these advances in computer vision, the medical imaging field has also witnessed growing interest for Transformers that can capture global context compared to CNNs with local receptive fields. Inspired from this transition, in this survey, we attempt to provide a comprehensive review of the applications of Transformers in medical imaging covering various aspects, ranging from recently proposed architectural designs to unsolved issues. Specifically, we survey the use of Transformers in medical image segmentation, detection, classification, reconstruction, synthesis, registration, clinical report generation, and other tasks. In particular, for each of these applications, we develop taxonomy, identify application-specific challenges as well as provide insights to solve them, and highlight recent trends. Further, we provide a critical discussion of the field's current state as a whole, including the identification of key challenges, open problems, and outlining promising future directions. We hope this survey will ignite further interest in the community and provide researchers with an up-to-date reference regarding applications of Transformer models in medical imaging. Finally, to cope with the rapid development in this field, we intend to regularly update the relevant latest papers and their open-source implementations at \url{https://github.com/fahadshamshad/awesome-transformers-in-medical-imaging}.

研究动机与目标

• 提供视觉Transformer（ViT）在多样化医学影像任务中应用的全面、最新综述。
• 通过整合基于ViT方法的最新进展，弥合计算机视觉与医学影像领域之间的差距。
• 识别在分割、分类和报告生成等医学影像任务中特有的应用挑战。
• 突出显示在医学影像中采用ViT的关键趋势、架构创新及开放性问题。
• 为探索临床与诊断影像中基于Transformer解决方案的研究人员提供路线图和参考。

提出的方法

• 根据应用领域（分割、分类、检测、重建、合成、配准、临床报告生成及其他）系统性地分类超过125篇相关论文。
• 为每个应用领域建立分类体系，分析基于ViT模型的架构设计与方法创新。
• 通过评估其捕捉医学图像中长程依赖关系与全局上下文的能力，对比ViT与传统CNN。
• 利用嵌入空间的马氏距离与主成分分析（PCA）投影，分析分布外（OOD）检测性能。
• 基于基准研究的实证结果，评估ViT在不同模态（MRI、CT、X光、超声、显微镜）与任务中的表现。
• 指出开放挑战，如领域偏移、不确定性估计不足，以及医学ViT系统中缺乏标准化评估协议。

实验结果

研究问题

• RQ1 视觉Transformer在捕捉医学图像中的长程依赖关系方面，为何优于卷积神经网络（CNN）？
• RQ2 在特定医学影像任务中，基于ViT的模型有哪些关键的架构与方法创新？
• RQ3 在临床应用中部署ViT时，主要挑战是什么，特别是在鲁棒性与不确定性估计方面？
• RQ4 与CNN相比，ViT在分布外检测中的表现如何？有何证据表明其预测结果与人类判断更一致？
• RQ5 在生命关键的诊断系统中，推动ViT在医学影像中应用的未来研究方向中，哪些最具前景？

主要发现

• 视觉Transformer已迅速渗透到所有主要医学影像任务中，2021年85%的分割与89%的分类论文基于ViT，而2012–2015年期间CNN的对应比例为73%与85%。
• 在ImageNet-21k上预训练并在分布内数据上微调的ViT，展现出更优的嵌入聚类效果与更高的马氏距离异常值得分，表明其不确定性估计能力更强。
• ViT的预测误差与人类标注的一致性高于CNN，表明其与临床决策更契合。
• 尽管性能优异，ViT在复杂医学纹理与尺度变化下的分布外检测仍面临挑战，尤其在训练数据有限或存在领域偏移时。
• 当前基于ViT的医学影像系统在领域自适应方面缺乏标准化评估协议，凸显了在医学影像中引入类似DOMAINBED框架的迫切需求。
• 持续学习与领域自适应技术在基于ViT的医学影像中仍研究不足，是实现鲁棒部署的有前景未来方向。