[論文レビュー] CoTr: Efficiently Bridging CNN and Transformer for 3D Medical Image Segmentation
CoTrはCNNエンコーダと可変形Transformerを組み合わせて長距離の文脈を効率的にモデル化し、3D医用画像のセグメンテーションで、BCVの11臓器セグメンテーションにおいて最先端の性能を達成しつつ高解像度マルチスケール特徴を扱う。
Convolutional neural networks (CNNs) have been the de facto standard for nowadays 3D medical image segmentation. The convolutional operations used in these networks, however, inevitably have limitations in modeling the long-range dependency due to their inductive bias of locality and weight sharing. Although Transformer was born to address this issue, it suffers from extreme computational and spatial complexities in processing high-resolution 3D feature maps. In this paper, we propose a novel framework that efficiently bridges a {\bf Co}nvolutional neural network and a {\bf Tr}ansformer {\bf (CoTr)} for accurate 3D medical image segmentation. Under this framework, the CNN is constructed to extract feature representations and an efficient deformable Transformer (DeTrans) is built to model the long-range dependency on the extracted feature maps. Different from the vanilla Transformer which treats all image positions equally, our DeTrans pays attention only to a small set of key positions by introducing the deformable self-attention mechanism. Thus, the computational and spatial complexities of DeTrans have been greatly reduced, making it possible to process the multi-scale and high-resolution feature maps, which are usually of paramount importance for image segmentation. We conduct an extensive evaluation on the Multi-Atlas Labeling Beyond the Cranial Vault (BCV) dataset that covers 11 major human organs. The results indicate that our CoTr leads to a substantial performance improvement over other CNN-based, transformer-based, and hybrid methods on the 3D multi-organ segmentation task. Code is available at \def\UrlFont{ m\small tfamily} \url{https://github.com/YtongXie/CoTr}
研究の動機と目的
- 3D医用画像セグメンテーションのために、CNNの局所的帰納的バイアスとTransformerを橋渡しする動機づけ。
- マルチスケール特徴マップ上の長距離依存をモデル化する、効率的な可変形Transformer（DeTrans）を開発する。
- グローバルな文脈を捉えつつ高解像度の詳細を保持する、CNNエンコーダ–DeTrans-エンコーダ–デコーダアーキテクチャを設計する。
- BCVデータセット上でCNNベース、Transformerベース、その他のハイブリッド手法と比較してセグメンテーション性能の向上を示す。
提案手法
- CNNエンコーダを用いてマルチスケールの3D特徴マップを抽出する。
- マルチスケールの可変形自己注意機構を備えたDeTrans-エンコーダを導入し、長距離依存を効率的に捉える。
- CNN特徴を3D位置エンコーディングでフラット化し、DeTrans層で処理する。
- 複数頭の可変形自己注意を、制限付きサンプリングポイントで適用し計算量を削減する。
- スキップ接続と深層監視を備えたCNNベースのデコーダを用いてDeTrans出力を融合する。
- Dice損失とクロスエントロピー損失を組み合わせて最適化し、データ拡張とインスタンス正規化を採用する。
実験結果
リサーチクエスチョン
- RQ1可変形自己注意を付与した軽量なハイブリッドCNN–Transformerエンコーダは、3D医用画像セグメンテーションにおいて純粋なCNNや純粋なTransformerよりも優れているだろうか？
- RQ2マルチスケールの可変形自己注意は、高解像度の3D特徴マップ上で効果的な長距離モデリングを可能にするか？
- RQ3DeTransのハイパーパラメータとマルチスケール特徴の統合がセグメンテーション性能に与える影響は何か？
- RQ4BCVの多臓器セグメンテーションタスクにおける、既存のCNN・Transformer・ハイブリッド法と比較してCoTrはどうか？
主な発見
| Methods | Param (M) | Organs | Ave | Sp | Ki | Gb | Es | Li | St | Ao | IVC | PSV | Pa | AG |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| SETR (ViT-B/16-rand) | 100.5 | 95.2 | 92.3 | 55.6 | 71.3 | 96.2 | 80.2 | 89.7 | 83.9 | 68.9 | 68.7 | 60.5 | 78.4 | |
| SETR (ViT-B/16-pre) | 100.5 | 94.8 | 91.7 | 55.2 | 70.9 | 96.2 | 76.9 | 89.3 | 82.4 | 69.6 | 70.7 | 58.7 | 77.8 | |
| CoTr w/o CNN-encoder | 21.9 | 95.2 | 92.8 | 59.2 | 72.2 | 96.3 | 81.2 | 89.9 | 85.1 | 71.9 | 73.3 | 61.0 | 79.8 | |
| CoTr w/o DeTrans | 32.6 | 96.0 | 92.6 | 63.8 | 77.9 | 97.0 | 83.6 | 90.8 | 87.8 | 76.7 | 81.2 | 72.6 | 83.6 | |
| APSS | 45.5 | 96.5 | 93.8 | 65.6 | 78.1 | 97.1 | 84.0 | 91.1 | 87.9 | 77.0 | 82.6 | 73.9 | 84.3 | |
| PP | 33.9 | 96.1 | 93.1 | 64.3 | 77.4 | 97.0 | 85.3 | 90.8 | 87.4 | 77.2 | 81.9 | 72.8 | 83.9 | |
| Non-local | 32.8 | 96.3 | 93.7 | 64.6 | 77.9 | 97.1 | 84.1 | 90.8 | 87.7 | 77.2 | 82.1 | 73.3 | 84.1 | |
| TransUnet | 43.5 | 95.9 | 93.7 | 63.1 | 77.8 | 97.0 | 86.2 | 91.0 | 87.8 | 77.8 | 81.6 | 73.9 | 84.2 | |
| CoTr ∗ | 27.9 | 96.4 | 94.0 | 66.2 | 76.4 | 97.0 | 84.2 | 90.3 | 87.6 | 76.3 | 80.8 | 72.9 | 83.8 | |
| CoTr † | 36.9 | 96.2 | 93.8 | 66.5 | 78.6 | 97.1 | 86.9 | 90.8 | 87.8 | 77.7 | 82.8 | 73.2 | 84.7 | |
| CoTr | 41.9 | 96.3 | 93.9 | 66.6 | 78.0 | 97.1 | 88.2 | 91.2 | 88.0 | 78.1 | 83.1 | 74.1 | 85.0 |
- CoTrはBCVの3D多臓器セグメンテーションでCNNのみ、Transformerのみ、他のハイブリッドのベースラインを上回る。
- 可変形自己注意を用いたCoTrは、計算および空間的複雑性を低減しつつマルチスケールの高解像度特徴マップの処理を可能にする。
- 小さめのCNNエンコーダを用いたCoTrの変種（CoTr ∗、CoTr †）は強い結果を達成し、純粋なTransformerベースのエンコーダよりもハイブリッドエンコーダの利点を示している。
- DeTransを従来のコンテキストモジュール（ASPP、PP、Non-local）に置換するとDiceスコアが低下し、可変形Transformerの利点を際立たせる。
- CoTrは11臓器全体で平均Diceを一貫して改善し、胆嚢と膵臓で特に顕著で、3D設定でTransUNetと競合または上回る性能を達成する。
- 学習時間と推論時間の効率性： GTX 2080Tiで約2日、推論は48×192×192体積あたり30 ms未満。
より良い研究を、今すぐ始めましょう
論文設計から論文執筆まで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。