[论文解读] Advances in Medical Image Analysis with Vision Transformers: A Comprehensive Review

Reza Azad, Amirhossein Kazerouni+7 more|arXiv (Cornell University)|Jan 9, 2023

COVID-19 diagnosis using AI被引用 11

一句话总结

一个系统化的关于基于 Transformer 的方法在医学影像分析中的百科全书式综述，涵盖分类、分割、检测、配准、重建、合成和报告生成，具有分类体系、基准和未来方向。

ABSTRACT

The remarkable performance of the Transformer architecture in natural language processing has recently also triggered broad interest in Computer Vision. Among other merits, Transformers are witnessed as capable of learning long-range dependencies and spatial correlations, which is a clear advantage over convolutional neural networks (CNNs), which have been the de facto standard in Computer Vision problems so far. Thus, Transformers have become an integral part of modern medical image analysis. In this review, we provide an encyclopedic review of the applications of Transformers in medical imaging. Specifically, we present a systematic and thorough review of relevant recent Transformer literature for different medical image analysis tasks, including classification, segmentation, detection, registration, synthesis, and clinical report generation. For each of these applications, we investigate the novelty, strengths and weaknesses of the different proposed strategies and develop taxonomies highlighting key properties and contributions. Further, if applicable, we outline current benchmarks on different datasets. Finally, we summarize key challenges and discuss different future research directions. In addition, we have provided cited papers with their corresponding implementations in https://github.com/mindflow-institue/Awesome-Transformer.

研究动机与目标

• 对多任务的医学影像分析中的 Transformer 模型全景进行综述。
• 提供设计的分类体系和对优缺点的批判性分析。
• 总结基准、数据集以及实际临床考量。
• 识别挑战并提出未来研究方向。

提出的方法

• 对基于 Transformer 的医学影像论文进行系统性文献综述（超过200篇论文）。
• 按任务和结构角色对模型进行分类（纯 Transformer 与混合 Transformer）。
• 讨论数据集、基准以及在分类、分割、重建和检测等任务上的性能趋势。
• 分析临床考量、鲁棒性、隐私和边缘部署相关方面。

实验结果

研究问题

• RQ1 在每个医学影像分析任务中，主要使用的基于 Transformer 的方法有哪些？
• RQ2 纯 Transformer 与 CNN-Transformer 混合模型在性能和设计权衡方面有何比较？
• RQ3 哪些基准、数据集和评估实践定义了各任务的当前最先进水平？
• RQ4 哪些尚未解决的挑战和未来方向影响医学影像中的 Transformer？

主要发现

• 该综述在结构化分类法中覆盖了超过200篇论文。
• ViTs 在建模长程依赖和提供基于注意力的可解释性方面具有优势。
• 混合 CNN-Transformer 设计用于在全局上下文与局部细节之间取得平衡。
• 存在促进联邦和去中心化训练（如 FESTA）的努力，以解决数据隐私和稀缺性问题。
• 轻量化和实时变体（如 POCFormer）将 ViT 适配到资源受限设备上的部署。
• 本文讨论临床相关性并引用如 Med-PaLM 2 和 SurgicalGPT 等现实世界示例来说明 Transformer 的实用性。