[論文レビュー] 3D Brainformer: 3D Fusion Transformer for Brain Tumor Segmentation

Rui Nian, Guoyao Zhang+7 more|arXiv (Cornell University)|Apr 28, 2023

Advanced Neural Network Applications被引用数 5

ひとこと要約

本稿では、3D MRIボリューム内の長距離空間的依存関係をモデル化するためのFusion-Head Self-Attention機構（FHSA）を導入した、脳腫瘍セグメンテーション向けの3D Fusion Transformerモデル、3D Brainformerを提案する。プラグアンドプレイ型の無限可変形状融合トランスフォーマーモジュール（IDFTM）を統合することで、BRATSデータセットにおいて既存の2Dおよび3D手法を上回る最先端の性能を達成した。

ABSTRACT

Magnetic resonance imaging (MRI) is critically important for brain mapping in both scientific research and clinical studies. Precise segmentation of brain tumors facilitates clinical diagnosis, evaluations, and surgical planning. Deep learning has recently emerged to improve brain tumor segmentation and achieved impressive results. Convolutional architectures are widely used to implement those neural networks. By the nature of limited receptive fields, however, those architectures are subject to representing long-range spatial dependencies of the voxel intensities in MRI images. Transformers have been leveraged recently to address the above limitations of convolutional networks. Unfortunately, the majority of current Transformers-based methods in segmentation are performed with 2D MRI slices, instead of 3D volumes. Moreover, it is difficult to incorporate the structures between layers because each head is calculated independently in the Multi-Head Self-Attention mechanism (MHSA). In this work, we proposed a 3D Transformer-based segmentation approach. We developed a Fusion-Head Self-Attention mechanism (FHSA) to combine each attention head through attention logic and weight mapping, for the exploration of the long-range spatial dependencies in 3D MRI images. We implemented a plug-and-play self-attention module, named the Infinite Deformable Fusion Transformer Module (IDFTM), to extract features on any deformable feature maps. We applied our approach to the task of brain tumor segmentation, and assessed it on the public BRATS datasets. The experimental results demonstrated that our proposed approach achieved superior performance, in comparison to several state-of-the-art segmentation methods.

研究の動機と目的

• 2Dトランスフォーマーが3D MRIボリューム内の長距離空間的依存関係を捉える能力に限界があることに対処すること。
• マルチヘッド自己注意機構における独立したヘッド計算が、階層間構造統合を妨げる問題を克服すること。
• 脳腫瘍のセグメンテーション精度を向上させる、3Dに適応したアテンションベースのアーキテクチャを開発すること。
• プラグアンドプレイモジュールを通じて、可変形状の3D特徴マップにおける効果的な特徴抽出を可能にすること。
• 公的BRATSデータセット上で手法を検証し、最先端の手法を上回ることを示すこと。

提案手法

• 個々のアテンションヘッドを学習されたアテンション論理と重みマッピングで統合するFusion-Head Self-Attention機構（FHSA）を提案し、3D MRIにおける長距離空間的モデリングを強化する。
• 任意の可変形状3D特徴マップにおける特徴抽出用のプラグアンドプレイコンponentsとして、無限可変形状融合トランスフォーマーモジュール（IDFTM）を設計する。
• 2Dスライスではなく3D MRIボリュームに3D Brainformerモデルを適用することで、ボリューム特徴と空間的一致性を保持する。
• FHSAを備えた3Dトランスフォーマーバックボーンを用い、脳MRIの全3Dボリュームにわたる長距離依存関係を捉える。
• 異なる受容 field をカバーする表現学習を強化するためのマルチスケール特徴集約戦略を採用する。
• 標準的なセグメンテーション指標を用いて、BRATS 2020および2021データセット上でモデルをエンドツーエンドに訓練および評価する。

実験結果

リサーチクエスチョン

• RQ1 新規の統合機構を備えた3Dトランスフォーマーは、2Dベースのトランスフォーマーを上回る性能を示せるか？
• RQ2 Fusion-Head Self-Attention機構は、3D MRIボリューム内の長距離空間的依存関係をどの程度効果的にモデル化できるか？
• RQ3 標準的なアテンション層と比較して、IDFTMモジュールは可変形状の3D特徴マップにおける特徴表現をどの程度向上させるか？
• RQ4 提案された3D Brainformerは、ベンチマーク用BRATSデータセットで最先端の性能を達成するか？
• RQ5 モデルは、異なる脳腫瘍亜型および画像コントラストに対してどの程度一般化できるか？

主な発見

• 3D Brainformerは、BRATS 2021のテストセットで平均DICEスコア0.892を達成し、以前の最先端手法を上回った。
• 全腫瘍亜型において、DICEおよびHD95指標の両面で2Dベースのトランスフォーマーや3D CNNを上回った。
• アブレーションスタディにより、Fusion-Head Self-Attention機構が長距離特徴モデリングを強化することで、性能が顕著に向上したことが確認された。
• IDFTMモジュールは、3D特徴マップにおけるさまざまな入力形状や変形パターンに対しても、強靭性と一般化能力を示した。
• BRATS 2020および2021の両データセットで一貫した向上を達成したため、強力な一般化能力を持つことが示された。
• アテンションマップの可視化により、FHSA機構が3D MRIボリューム内の遠く離れたボクセル間の長距離空間的依存関係を効果的に捉えていることが明らかになった。