[論文レビュー] Swin UNETR: Swin Transformers for Semantic Segmentation of Brain Tumors in MRI Images

Ali Hatamizadeh, Vishwesh Nath+4 more|arXiv (Cornell University)|Jan 4, 2022

Advanced Neural Network Applications被引用数 30

ひとこと要約

Swin UNETR は、Swin Transformer エンコーダと CNN デコーダを用いた U 字型の 3D セグメンテーションモデルを提案し、マルチモーダル MRI における体積脳腫瘍セグメンテーションで BraTS 2021 の検証においてトップ性能を達成します。

ABSTRACT

Semantic segmentation of brain tumors is a fundamental medical image analysis task involving multiple MRI imaging modalities that can assist clinicians in diagnosing the patient and successively studying the progression of the malignant entity. In recent years, Fully Convolutional Neural Networks (FCNNs) approaches have become the de facto standard for 3D medical image segmentation. The popular "U-shaped" network architecture has achieved state-of-the-art performance benchmarks on different 2D and 3D semantic segmentation tasks and across various imaging modalities. However, due to the limited kernel size of convolution layers in FCNNs, their performance of modeling long-range information is sub-optimal, and this can lead to deficiencies in the segmentation of tumors with variable sizes. On the other hand, transformer models have demonstrated excellent capabilities in capturing such long-range information in multiple domains, including natural language processing and computer vision. Inspired by the success of vision transformers and their variants, we propose a novel segmentation model termed Swin UNEt TRansformers (Swin UNETR). Specifically, the task of 3D brain tumor semantic segmentation is reformulated as a sequence to sequence prediction problem wherein multi-modal input data is projected into a 1D sequence of embedding and used as an input to a hierarchical Swin transformer as the encoder. The swin transformer encoder extracts features at five different resolutions by utilizing shifted windows for computing self-attention and is connected to an FCNN-based decoder at each resolution via skip connections. We have participated in BraTS 2021 segmentation challenge, and our proposed model ranks among the top-performing approaches in the validation phase. Code: https://monai.io/research/swin-unetr

研究の動機と目的

• 長距離依存関係とマルチスケールの文脈を捉えることで、3D MRI における正確なマルチモーダル brain tumor segmentation の課題に対処する。
• 階層的 Swin Transformer エンコーダを活用し、従来の CNN ベースの FCNN よりもセグメンテーションを改善する。
• 解像度を跨いで微細な空間的ディテールを保持するため、スキップ接続を持つ CNN ベースのデコーダを統合する。
• BraTS 2021 BraTS ベンチマークで最先端または競争力のある性能を示す。

提案手法

• 3D 脳腫瘍セグメンテーションを、マルチモーダル MRI パッチを処理する Swin Transformer エンコーダを用いたシーケンス対シーケンス問題として定式化する。
• 4 段階にわたってシフトウィンドウを用いた階層的 Swin Transformer を用いて、マルチスケール特徴を蓄積する。
• U 形状のアーキテクチャで、エンコーダ特徴を複数の解像度でスキップ接続を介して CNN ベースのデコーダに接続する。
• ソフト Dice loss と標準の BraTS 前処理（パッチベースの訓練とデータ拡張を含む）で訓練する。
• 5 分割のクロスバリデーションで評価し、最終 BraTS 2021 の結果のために 10 台の Swin UNETR モデルをアンサンブルする。

実験結果

リサーチクエスチョン

• RQ1 Swin Transformer ベースのエンコーダと CNN デコーダを組み合わせた場合、BraTS 2021 における完全畳み込みベースのベースラインより 3D のマルチモーダル脳腫瘍セグメンテーションを改善できるか？
• RQ2 階層的でシフトウィンドウ自己注意機構は、さまざまな腫瘍形態に対してマルチスケールの文脈を効果的に捉えるか？
• RQ3 WT・TC・ET 領域のセグメンテーション精度に対するマルチ解像度のスキップ接続の影響は何か？

主な発見

• Swin UNETR は、ET、WT、TC領域で、 folds 全体を通じていくつかの競合するCNNベースモデルより高い平均 Dice スコアを達成します。
• シフトウィンドウを持つ階層的 Swin トランスフォーマーエンコーダは、ViT ベースのアプローチと比較して長距離依存とマルチスケール文脈のモデリングを改善します。
• クロスバリデーションからの 10 モデルをアンサンブルすることで、BraTS 2021 の検証での性能がさらに向上します。
• BraTS 2021 テストデータでは、ET および WT の性能が検証ベンチマークに近く、TC領域でわずかに低下しています。