[論文レビュー] Advances in Medical Image Analysis with Vision Transformers: A Comprehensive Review

Reza Azad, Amirhossein Kazerouni+7 more|arXiv (Cornell University)|Jan 9, 2023

COVID-19 diagnosis using AI被引用数 11

ひとこと要約

医療画像分析の Transformer ベース手法の体系的百科事典で、分類、セグメンテーション、検出、登録、再構成、合成、レポート生成を網羅し、分類体系、ベンチマーク、将来の方向性を含む。

ABSTRACT

The remarkable performance of the Transformer architecture in natural language processing has recently also triggered broad interest in Computer Vision. Among other merits, Transformers are witnessed as capable of learning long-range dependencies and spatial correlations, which is a clear advantage over convolutional neural networks (CNNs), which have been the de facto standard in Computer Vision problems so far. Thus, Transformers have become an integral part of modern medical image analysis. In this review, we provide an encyclopedic review of the applications of Transformers in medical imaging. Specifically, we present a systematic and thorough review of relevant recent Transformer literature for different medical image analysis tasks, including classification, segmentation, detection, registration, synthesis, and clinical report generation. For each of these applications, we investigate the novelty, strengths and weaknesses of the different proposed strategies and develop taxonomies highlighting key properties and contributions. Further, if applicable, we outline current benchmarks on different datasets. Finally, we summarize key challenges and discuss different future research directions. In addition, we have provided cited papers with their corresponding implementations in https://github.com/mindflow-institue/Awesome-Transformer.

研究の動機と目的

• 複数のタスクに渡る医療画像解析における Transformer モデルの全体像を調査する。
• デザインの分類体系と利点・制約の批判的分析を提供する。
• ベンチマーク、データセット、および実際の臨床上の考慮事項を要約する。
• 課題を特定し、今後の研究方向を提案する。

提案手法

• Transformer を用いた医用画像論文の体系的文献調査（200件を超える論文）。
• タスクと構造上の役割（pure Transformer vs hybrid Transformer）によるモデルの分類学的整理。
• 分類、セグメンテーション、再構成、検出などのタスクにわたるデータセット、ベンチマーク、性能動向の議論。
• 臨床的考慮事項、頑健性、プライバシー、エッジデプロイ可能性の分析。

実験結果

リサーチクエスチョン

• RQ1 各医用画像解析タスクに用いられる主要な Transformer ベースのアプローチは何か？
• RQ2 純粋な Transformer と CNN-Transformer ハイブリッドモデルの性能と設計上のトレードオフはどう比較されるか？
• RQ3 どのベンチマーク、データセット、評価手法がタスク間の現状の最先端を定義するか？
• RQ4 医用画像における Transformers を形作る未解決の課題と将来の方向性は何か？

主な発見

• このレビューは構造化された分類体系の中で200件を超える論文を網羅している。
• ViTs は長距離依存性のモデリングに利点を提供し、注意機構に基づく解釈性を提供する。
• CNN-Transformer のハイブリッド設計は、グローバルな文脈と局所的なディテールのバランスを取るために用いられる。
• データプライバシーとデータ不足に対処するため、連合学習や分散トレーニング（例: FESTA）を可能にする取り組みがある。
• 軽量化・リアルタイム版（例: POCFormer）は、リソース制約デバイスでのデプロイに ViTs を適応させる。
• 本論文は臨床的関連性を論じ、Med-PaLM 2 や SurgicalGPT のような実例を挙げて Transformer の有用性を示している。