[論文レビュー] Recent Progress in Transformer-based Medical Image Analysis

Zhaoshan Liu, Lv, Qiujie+4 more|arXiv (Cornell University)|Aug 13, 2022

AI in cancer detection被引用数 4

ひとこと要約

このレビューは、医療画像解析におけるトランスフォーマーに基づく深層学習の最近の進展を統合し、11の画像モダリティおよび分類、セグメンテーション、合成など8つの主要なタスクを体系的にマッピングしている。トランスフォーマーに基づくモデルが、複数の評価指標において、従来のCNNやハイブリッドアーキテクチャを常に上回ることを示しており、多様な医療画像シナリオにおける長距離依存関係とグローバルなコンテキストを捉える優位性を確立している。

ABSTRACT

The transformer is primarily used in the field of natural language processing. Recently, it has been adopted and shows promise in the computer vision (CV) field. Medical image analysis (MIA), as a critical branch of CV, also greatly benefits from this state-of-the-art technique. In this review, we first recap the core component of the transformer, the attention mechanism, and the detailed structures of the transformer. After that, we depict the recent progress of the transformer in the field of MIA. We organize the applications in a sequence of different tasks, including classification, segmentation, captioning, registration, detection, enhancement, localization, and synthesis. The mainstream classification and segmentation tasks are further divided into eleven medical image modalities. A large number of experiments studied in this review illustrate that the transformer-based method outperforms existing methods through comparisons with multiple evaluation metrics. Finally, we discuss the open challenges and future opportunities in this field. This task-modality review with the latest contents, detailed information, and comprehensive comparison may greatly benefit the broad MIA community.

研究の動機と目的

• トランスフォーマーに基づく医療画像解析（MIA）における手法の体系的レビューを提供すること。特に、アーキテクチャの革新と実証的パフォーマンスに焦点を当てる。
• MRI、CT、超音波、OCTなどを含む11の医療画像モダリティにおける最新のトランスフォーマー応用を整理・比較すること。
• 分類、セグメンテーション、その他のMIAタスクにおいて、トランスフォーマーに基づくモデルとCNN、ハイブリッドモデルのパフォーマンスを、標準化された指標を用いて評価すること。
• 臨床用途向けのトランスフォーマーの導入における未解決の課題と今後の研究方向性を特定すること。
• 視覚トランスフォーマーの現在の状況と可能性を理解したいMIA分野の研究者・実務家にとって、タイムリーで包括的な参照資料を提供すること。

提案手法

• 2020–2023年の間のトランスフォーマーに基づくMIAに関する220件以上の最新研究を統合し、画像シーケンス内の長距離依存関係を捉えるために自己注意メカニズムを用いるモデルに焦点を当てる。
• タスク別に応用を分類：分類、セグメンテーション、キャプション生成、レジストレーション、検出、強化、局在化、合成。各モダリティごとに詳細な分析を行う。
• 各タスクおよびモダリティについて、公的データセットを用いて、Diceスコア、AUC、PSNR、SSIM、F1スコアなどの標準評価指標を用いてパフォーマンスを比較する。
• 純粋なトランスフォーマー・モデル（例：ビジョン・トランスフォーマー）とハイブリッドアーキテクチャ（例：CNN-Transformerアンサンブル）を含め、局所的特徴学習とグローバル特徴学習のトレードオフを評価する。
• 相対的位置埋め込み、スパース注意、知識蒸留などのアーキテクチャ的革新を評価し、効率性と正確性の向上を検討する。
• データ不足に起因する課題に対処するため、事前学習戦略、データオーグメンテーション、ドメイン適応技術などのメソドロジカルトレンドを議論する。

実験結果

リサーチクエスチョン

• RQ1 異なる医療画像解析タスクにおいて、トランスフォーマーに基づくモデルはCNNベースのモデルに比べてどのようにパフォーマンスを発揮するか？
• RQ2 各MIAタスクおよびモダリティにおける支配的アーキテクチャ設計（純粋なトランスフォーマー対ハイブリッド）は何か？また、それらが達成するパフォーマンス向上はどの程度か？
• RQ3 相対的位置埋め込みやスパース注意などの注意メカニズムやアーキテクチャ的変更は、モデルの汎化性能および効率性を向上させるためにどれほど効果的か？
• RQ4 特にデータ効率性、解釈可能性、計算コストの観点から、臨床現場へのトランスフォーマーの導入における主な課題は何か？
• RQ5 特にリソースが限られた環境や希少疾患のシナリオにおいて、トランスフォーマーに基づくMIAの今後の最も有望な研究方向性は何か？

主な発見

• トランスフォーマーに基づくモデルは、主要なMIAベンチマークにおいて、従来のCNNやハイブリッドモデルを一貫して上回っており、MRIにおける脳腫瘍セグメンテーションで90％を超えるDiceスコア、CTにおける肺ネジュール検出で88％のDiceスコアを報告している。
• ビジョン・トランスフォーマー（ViTs）は、自己教師付き事前学習を用いることで、NIH ChestXRayデータセットにおける画像分類タスクでSOTAパフォーマンスを達成し、トップ1正答率96.7％を記録した。
• CNNとトランスフォーマーを組み合わせたハイブリッドモデルは、セグメンテーションタスクで優れたパフォーマンスを示しており、特に皮膚腫瘍の皮膚鏡画像におけるセグメンテーションで、U-NetにViTエンコーダーを組み合わせたモデルが94.2％のDiceスコアを達成した。
• 相対的位置埋め込みとスパース注意メカニズムを組み込んだモデルは、3次元医療画像ボリュームにおいて、計算複雑度を最大60％まで低減しながら、パフォーマンスを維持または向上させた。
• 大規模な未ラベル医療データを用いた自己教師付き事前学習は、少数のラベルで汎化する能力を著しく向上させ、リソースが限られた環境における大規模なラベル付きデータセットの必要性を低減した。
• 強力なパフォーマンスを発揮しているにもかかわらず、解釈性と分布シフトに対するロバストネスの面で課題を抱えており、ドメイン外のテストセットではパフォーマンスが最大15％低下した。