[論文レビュー] Transforming medical imaging with Transformers? A comparative review of key properties, current progresses, and future perspectives

Jun Li, Junyu Chen+4 more|arXiv (Cornell University)|Jun 2, 2022

Radiomics and Machine Learning in Medical Imaging被引用数 20

ひとこと要約

本論文は医用画像における Vision Transformer ベースの手法を調査し、それらを CNN/RNN と比較し、Transformer の特性とハイブリッドアーキテクチャに基づいて、セグメンテーション、認識、検出、登録、再構成、強化にわたるアプローチを分類します。

ABSTRACT

Transformer, the latest technological advance of deep learning, has gained prevalence in natural language processing or computer vision. Since medical imaging bear some resemblance to computer vision, it is natural to inquire about the status quo of Transformers in medical imaging and ask the question: can the Transformer models transform medical imaging? In this paper, we attempt to make a response to the inquiry. After a brief introduction of the fundamentals of Transformers, especially in comparison with convolutional neural networks (CNNs), and highlighting key defining properties that characterize the Transformers, we offer a comprehensive review of the state-of-the-art Transformer-based approaches for medical imaging and exhibit current research progresses made in the areas of medical image segmentation, recognition, detection, registration, reconstruction, enhancement, etc. In particular, what distinguishes our review lies in its organization based on the Transformer's key defining properties, which are mostly derived from comparing the Transformer and CNN, and its type of architecture, which specifies the manner in which the Transformer and CNN are combined, all helping the readers to best understand the rationale behind the reviewed approaches. We conclude with discussions of future perspectives.

研究の動機と目的

• 医用画像における Transformer モデルの検討を促し、それらを CNN/RNN のベースラインと比較する。
• Transformer ベースの医用画像アプローチの特性主導の分類法を提供する。
• セグメンテーション、認識、検出、登録、再構成、強化といった主要タスクにおける最先端手法を網羅的に調査する。
• 医用画像における Transformer-CNN ハイブリッドの利点、制限、および設計選択を浮き彫りにする。
• 医用画像への Transformer の適用における今後の展望と未解決の課題を論じる。

提案手法

• 自己注意機構、MSA、Vision Transformer パイプラインを含む、Transformer の基礎と主要な特性を説明する。
• パッチベースのトークン化、パッチ埋め込み、位置埋め込み（サイン波、学習可能、相対）を説明する。
• CNN と Transformer の組み合わせの分類法を提示する（Conv 系、Transformer 系 CNN、Conv-Transformer ハイブリッド）。
• 医用画像モデルにおけるパッチサイズ、3D vs 2D、ハイブリッドエンコーダ/デコーダ構成などのアーキテクチャ設計の選択を調査する。
• 損失ランドスケープ、誘導性バイアス、ノイズ頑健性が Transformer ベースのモデルに与える影響を議論する。

実験結果

リサーチクエスチョン

• RQ1 医用画像分析において、Vision Transformer ベースのモデルは能力と制限の面で CNNs/RNNs とどのように比較されるか。
• RQ2 主要な医用画像タスク（セグメンテーション、認識、検出、登録、再構成、強化）における Transformer ベースのアーキテクチャの進展は何か。
• RQ3 異なるモダリティとタスクに対して、どのようなアーキテクチャパターン（純粋な Transformer、CNN-Transformer ハイブリッド）が最も効果的か。
• RQ4 データ要件、誘導バイアス、計算要求といった主要な課題と、医用画像領域における Transformers の今後の方向性は何か。

主な発見

• Transformers は長距離依存のモデル化を改善する大きな効果受容野を提供する。
• Transformers は特定の学習条件下で平坦な損失景観と潜在的なより良い一般化を提供できる。
• ハイブリッド CNN-Transformer アーキテクチャは広く普及しており、局所特徴抽出とグローバルコンテキストを組み合わせてしばしば効果的である。
• CNNs と比べて誘導バイアスが弱いため、Transformer はより大規模なデータセットや強力な事前学習を必要とする傾向がある。
• セグメンテーション、認識、その他のタスクのために、Conv-Transformer ハイブリッドやパッチベースのアプローチを含む、さまざまな 3D および 2D の Transformer ベースモデルが提案されている。
• 本調査は設計根拠の理解を助けるため、コア Transformer の特性とアーキテクチャタイプごとに手法を整理している。