[論文レビュー] TransBTS: Multimodal Brain Tumor Segmentation Using Transformer

Wenxuan Wang, Chen Chen+4 more|arXiv (Cornell University)|Mar 7, 2021

Advanced Neural Network Applications参考文献 23被引用数 123

ひとこと要約

TransBTSは、3D CNNエンコーダ–Transformerアーキテクチャを導入し、3D MRIの局所および全体特徴をモデル化して多模態脳腫瘍分割を行い、BraTS 2019および2020で最先端手法と同等またはそれを上回る結果を達成します。

ABSTRACT

Transformer, which can benefit from global (long-range) information modeling using self-attention mechanisms, has been successful in natural language processing and 2D image classification recently. However, both local and global features are crucial for dense prediction tasks, especially for 3D medical image segmentation. In this paper, we for the first time exploit Transformer in 3D CNN for MRI Brain Tumor Segmentation and propose a novel network named TransBTS based on the encoder-decoder structure. To capture the local 3D context information, the encoder first utilizes 3D CNN to extract the volumetric spatial feature maps. Meanwhile, the feature maps are reformed elaborately for tokens that are fed into Transformer for global feature modeling. The decoder leverages the features embedded by Transformer and performs progressive upsampling to predict the detailed segmentation map. Extensive experimental results on both BraTS 2019 and 2020 datasets show that TransBTS achieves comparable or higher results than previous state-of-the-art 3D methods for brain tumor segmentation on 3D MRI scans. The source code is available at https://github.com/Wenxuan-1119/TransBTS

研究の動機と目的

• Volumetric MRIの局所的な3Dコンテキストとグローバルな長距離依存性のモデリングを分割のために行う動機付け。
• 脳腫瘍分割のための3D CNN–Transformerエンコーダ–デコーダネットワーク（TransBTS）を提案。
• BraTS 2019および2020での有効性を示し、アブレーションによるアーキテクチャ選択を分析。

提案手法

• マルチモーダルMRIから局所の3D特徴マップを抽出する3D CNNエンコーダを使用。
• エンコーダ特徴をトランスフォーマー互換のトークンにフラット化・射影し、学習可能な位置エンベディングを付与。
• トークンをトランスフォーマーエンコーダで処理し、空間次元と深度次元を跨ぐグローバル長距離依存を捕捉。
• トランスフォーマー出力を4D特徴マップに戻し、スキップ接続を伴う進行的アップサンプリングと3D CNNデコーダで全解像度の分割を適用。
• BraTSデータ上でデータ拡張とDiceベースの損失でゼロから訓練、オプションのテスト時拡張（TTA）。
• BraTS2019および2020データセットで最先端の3D分割手法と比較。

実験結果

リサーチクエスチョン

• RQ1 Transformerベースのグローバルコンテキストモデルを3D CNNフレームワークに効果的に統合して脳腫瘍の体積分割を実現できるか？
• RQ2 局所3Dコンテキストとグローバル依存性を jointly モデリングすることはBraTSデータセットでDiceスコアとHausdorff距離を改善するか？
• RQ3 Transformersの深さ、埋め込み次元、トークンシーケンス長、スキップ接続の配置が分割性能に与える影響は？

主な発見

Dataset	Method	ET Dice (%)	WT Dice (%)	TC Dice (%)	ET HD (mm)	WT HD (mm)	TC HD (mm)
BraTS2019	3D U-Net	—	—	—	—	—	—
BraTS2019	V-Net	—	—	—	—	—	—
BraTS2019	KiU-Net	—	—	—	—	—	—
BraTS2019	Attention U-Net	—	—	—	—	—	—
BraTS2019	Wang et al.	—	—	—	—	—	—
BraTS2019	Li et al.	—	—	—	—	—	—
BraTS2019	Frey et al.	—	—	—	—	—	—
BraTS2019	Myronenko et al.	—	—	—	—	—	—
BraTS2019	TransBTS w/o TTA	ET 78.36	WT 88.89	TC 81.41	ET 5.908	WT 7.599	TC 7.584
BraTS2019	TransBTS w/ TTA	ET 78.93	WT 90.00	TC 81.94	ET 3.736	WT 5.644	TC 6.049
BraTS2020	TransBTS w/o TTA	ET 78.50	WT 89.00	TC 81.36	ET 16.716	WT 6.469	TC 10.468
BraTS2020	TransBTS w/ TTA	ET 78.73	WT 90.09	TC 81.73	ET 17.947	WT 4.964	TC 9.769

• TransBTSはBraTS 2019の検証で競合的または優れたDiceスコアと低いHausdorff距離を複数の3Dベースラインと比較して達成（例：ET 78.93, WT 90.00, TC 81.94はTTA併用時）。
• BraTS 2019検証でTransBTS w/ TTAはw/o TTAよりDiceでET, WT, TCを上回り、HDの顕著な低減を示す（例：ET HD 3.736 mmはw/ TTA）。
• BraTS 2020検証でTransBTSはTTA有無にかかわらずETとTCのDiceスコアが約78.5–78.7、WTは約89–90、HDは他のベースラインより改善（例：ET HD ~16.7–17.9 mm）。
• TransBTSの軽量版（Transformer層が少なくFFNが小さい）はパラメータとFLOPsを約54%、38%削減しつつDiceスコアを維持。
• アブレーション研究では長いトークン列（OS=8）とU-Net風ブロックからのスキップ接続が他の構成より性能を有意に向上させる。