[論文レビュー] Transformers in Medical Image Analysis: A Review

Kelei He, Gan Chen+8 more|arXiv (Cornell University)|Feb 24, 2022

Advanced Neural Network Applications被引用数 60

ひとこと要約

Transformer アーキテクチャと医用画像解析への応用の総合的レビュー。分類、セグメンテーション、検出、登録、合成、マルチモーダル学習のための純粋な Transformer モデルとハイブリッドモデルを網羅し、課題と将来の方向性を示す。

ABSTRACT

Transformers have dominated the field of natural language processing, and recently impacted the computer vision area. In the field of medical image analysis, Transformers have also been successfully applied to full-stack clinical applications, including image synthesis/reconstruction, registration, segmentation, detection, and diagnosis. Our paper aims to promote awareness and application of Transformers in the field of medical image analysis. Specifically, we first overview the core concepts of the attention mechanism built into Transformers and other basic components. Second, we review various Transformer architectures tailored for medical image applications and discuss their limitations. Within this review, we investigate key challenges revolving around the use of Transformers in different learning paradigms, improving the model efficiency, and their coupling with other techniques. We hope this review can give a comprehensive picture of Transformers to the readers in the field of medical image analysis.

研究の動機と目的

• Visionと医用画像の分野での Transformer の基礎とその進化の包括的な概要を提供する。
• 医用画像タスクに合わせた Transformer ベースのアーキテクチャを調査し、制限を特定する。
• 学習パラダイム（弱監視、マルチタスク、マルチモーダル）と効率性/解釈性設計を検討する。
• 医用画像におけるデータ不足、計算資源、他技術との統合の課題を強調する。
• Transformer ベースの医用画像解析の将来の研究方向に関する指針を提供する。）

提案手法

• コアな Transformer コンポーネントと自己注意機構を方程式とマルチヘッド注意で説明する。
• Vision Transformer (ViT)、DETR、DeiT、Swin-Transformer および医用画像適用に関連する変種を要約する。
• 医用画像アプリケーションを分類、セグメンテーション、合成/翻訳、検出、登録、ビデオ解析に分類し、純粋およびハイブリッド（CNN/ViT、グラフベース）アプローチを示す。
• 学習パラダイムと効率化戦略（事前学習、蒸留、窓付き注意、Linformer など）を検討する。
• 文献の総合（170超の Transformer ベース手法）と CNN ベース手法との比較を提供する。

実験結果

リサーチクエスチョン

• RQ1 医用画像解析に関連するコアな Transformer メカニズムとアーキテクチャの変種は何か？
• RQ2 純粋かハイブリッドかを問わず、分類、セグメンテーション、検出、合成、登録などの異なる医用画像タスクにどのように適用されているか？
• RQ3 医用画像における Transformer の適用時の主要な課題と制限は何か、効率性と解釈性をどう改善できるか？
• RQ4 弱監視、マルチタスク、マルチモーダル学習などの学習パラダイムはこの領域の Transformer アーキテクチャとどのように相互作用するか？
• RQ5 臨床医療画像タスクにおける Transformer の採用と性能を高める将来の方向性は何か？

主な発見

• Transformers は分類、セグメンテーション、検出、合成、登録を含む幅広い医用画像タスクに適用されている。
• CNN やグラフ表現と Transformers を組み合わせたハイブリッドアーキテクチャは一般的で、データが限られている状況で純粋な ViT より医用画像で優れることがある。
• 事前学習とデータ効率化戦略（DeiT、パッチサイズの検討、蒸留など）は医用画像の性能にとって重要である。
• 注意機構ベースおよび窓付き/自己注意の変種（Swin-Transformer、Linformer の適応など）は大規模な医用画像の計算コストを軽減するのに役立つ。
• 応用は多くのモダリティ（X線、CT、MRI、超音波、組織病理）とタスクに及び、特定の設定で CNN ベースのベースラインと競合するか優れていると報告する研究が多い。