[論文レビュー] TransBTSV2: Towards Better and More Efficient Volumetric Segmentation of Medical Images

Jiangyun Li, Wenxuan Wang+5 more|arXiv (Cornell University)|Jan 30, 2022

Radiomics and Machine Learning in Medical Imaging被引用数 33

ひとこと要約

TransBTSV2は、前モデルを上回る性能を示す、広く浅いTransformer設計とDeformable Bottleneck Moduleを備えた、効率的な3D医用画像体積セグメンテーションのためのハイブリッドCNN-Transformerフレームワークです。

ABSTRACT

Transformer, benefiting from global (long-range) information modeling using self-attention mechanism, has been successful in natural language processing and computer vision recently. Convolutional Neural Networks, capable of capturing local features, are difficult to model explicit long-distance dependencies from global feature space. However, both local and global features are crucial for dense prediction tasks, especially for 3D medical image segmentation. In this paper, we present the further attempt to exploit Transformer in 3D CNN for 3D medical image volumetric segmentation and propose a novel network named TransBTSV2 based on the encoder-decoder structure. Different from TransBTS, the proposed TransBTSV2 is not limited to brain tumor segmentation (BTS) but focuses on general medical image segmentation, providing a stronger and more efficient 3D baseline for volumetric segmentation of medical images. As a hybrid CNN-Transformer architecture, TransBTSV2 can achieve accurate segmentation of medical images without any pre-training, possessing the strong inductive bias as CNNs and powerful global context modeling ability as Transformer. With the proposed insight to redesign the internal structure of Transformer block and the introduced Deformable Bottleneck Module to capture shape-aware local details, a highly efficient architecture is achieved with superior performance. Extensive experimental results on four medical image datasets (BraTS 2019, BraTS 2020, LiTS 2017 and KiTS 2019) demonstrate that TransBTSV2 achieves comparable or better results compared to the state-of-the-art methods for the segmentation of brain tumor, liver tumor as well as kidney tumor. Code will be publicly available at https://github.com/Wenxuan-1119/TransBTS.

研究の動機と目的

• グローバルな文脈を活用しつつ局所的な3Dディテールを保持することで、体積セグメンテーションの改善を動機づける。
• 性能を犠牲にせずモデルの複雑さを削減するため、深さよりも広さを重視したTransformer設計を提案する。
• 不規則で形状認識的な病変のディテールを捉えるDeformable Bottleneck Modulesを導入する。
• 脳腫瘍以外にも適用可能な、事前学習を必要としない一般的な3D CNN-Transformerフレームワークを提供する。
• 複数の医用セグメンテーションベンチマークにおいて競争力のある、あるいは優れた性能を示す。

提案手法

• ダウンサンプリングを伴う局所的な体積特徴を抽出する修正済み3D CNNエンコーダを使用する。
• チャンネル次元を拡張し、空間/深度次元をトークンへ展開して3D特徴をTransformerエンコーダに埋め込む。
• 柔軟に拡張されたマルチヘッド自己注意（FW-MHSA）とFFNを備えた再設計されたTransformerブロックを適用し、浅くても広いアーキテクチャを形成する。
• 逆ボトルネックのような幅拡張を採用：Transformerの深さを1つのブロックに削減し内部を広げて、パラメータとFLOPsを削減する。
• 各スキップ接続にDeformable Bottleneck Moduleを組み込み、3D変形畳み込みを用いて体積的空間オフセットを学習し、形状認識的なディテールを得る。
• Transformer出力を4D特徴マップに戻し、スキップ連結を伴う3D CNNデコーダを用いて高解像度のセグメンテーションを行う。

実験結果

リサーチクエスチョン

• RQ1 事前学習なしで、Transformerベースのモデルを3D CNNに効果的かつ効率的に統合して、体積的医用画像セグメンテーションを実現できるか？
• RQ2 広く浅いTransformerアーキテクチャは、セグメンテーション性能を維持または向上させつつ、モデルの複雑さを低減できるか？
• RQ3 スキップ接続におけるDeformable機構は、3D医用画像の不規則な病変形状の処理を向上させられるか？
• RQ4 TransBTSV2は、脳・肝臓・腎臓腫瘍のセグメンテーションベンチマークにおいて、最先端手法と比較してどのような性能を示すか？

主な発見

• TransBTSV2はBraTS 2019/2020、LiTS 2017、KiTS 2019データセットで競争力のある、または優れた結果を達成する。
• Transformer深さを1に削減し内部次元を広げると、性能を維持または向上させつつ、パラメータとFLOPを大幅に削減できる（例：パラメータ53.62%削減、FLOP27.75%削減） 。
• Deformable Bottleneck Moduleは、スキップ接続で形状認識的な局所ディテールをほとんど追加計算コストなしで捉えることを可能にする。
• このアーキテクチャは、事前学習に頼らない、クリーンで一般的な3Dネットワークを維持し、多尺度特徴融合などの追加技術を組み込むことができる。