[論文レビュー] ScaleFormer: Revisiting the Transformer-based Backbones from a Scale-wise Perspective for Medical Image Segmentation

Huimin Huang, Shiao Xie+5 more|arXiv (Cornell University)|Jul 29, 2022

Advanced Neural Network Applications被引用数 13

ひとこと要約

ScaleFormer は、二重ブランチ構造を用いてスケールごとの課題に取り組む、医療画像セグメンテーション向けの新規トランスフォーマー基盤を提案する。局所的およびグローバルな特徴を各スケール内で融合する軽量なデュアルアックスマルチヘッド自己注意（DA-MSA）を用いたイントラスケールモデリングと、空間に注意を払ったトランスフォーマーを用いたインタースケールモデリングにより、スケール間の特徴相互作用を強化する。複数の医療画像セグメンテーションベンチマークで最先端の性能を達成している。

ABSTRACT

Recently, a variety of vision transformers have been developed as their capability of modeling long-range dependency. In current transformer-based backbones for medical image segmentation, convolutional layers were replaced with pure transformers, or transformers were added to the deepest encoder to learn global context. However, there are mainly two challenges in a scale-wise perspective: (1) intra-scale problem: the existing methods lacked in extracting local-global cues in each scale, which may impact the signal propagation of small objects; (2) inter-scale problem: the existing methods failed to explore distinctive information from multiple scales, which may hinder the representation learning from objects with widely variable size, shape and location. To address these limitations, we propose a novel backbone, namely ScaleFormer, with two appealing designs: (1) A scale-wise intra-scale transformer is designed to couple the CNN-based local features with the transformer-based global cues in each scale, where the row-wise and column-wise global dependencies can be extracted by a lightweight Dual-Axis MSA. (2) A simple and effective spatial-aware inter-scale transformer is designed to interact among consensual regions in multiple scales, which can highlight the cross-scale dependency and resolve the complex scale variations. Experimental results on different benchmarks demonstrate that our Scale-Former outperforms the current state-of-the-art methods. The code is publicly available at: https://github.com/ZJUGiveLab/ScaleFormer.

研究の動機と目的

• 既存のビジョントランスフォーマーにおけるイントラスケールの制限、すなわち各スケール内での局所的特徴とグローバル特徴の有効な統合の不十分さを解消すること。
• 特にサイズや形状が変動する対象に対して不十分なスケール間特徴相互作用を解消すること。
• 特徴階層全体にわたるスケールごとの依存関係を明示的にモデル化することで、医療画像セグメンテーションにおける表現学習を向上させること。
• 小さな対象の信号伝達を強化し、スケール変動に対して頑健な軽量で効果的なバックボーンを構築すること。

提案手法

• CNNベースの局所的特徴とトランスフォーマーに基づくグローバルな手がかりを、軽量なデュアルアックスマルチヘッド自己注意（DA-MSA）機構を用いて統合するスケール別インフラスケールトランスフォーマーを導入する。
• DA-MSA において行方向および列方向の注意を用いることで、両方向に長距離依存関係を独立して捉え、局所的・グローバル特徴の統合を改善する。
• 異なるスケール間の対応領域に注目することで、明示的にスケール間相互作用をモデル化する空間に注意を払ったインタースケールトランスフォーマーを設計する。
• 複数のエンコーダーステージからの特徴マップをインタースケールモジュールの入力として使用し、階層的特徴の最適化を可能にする。
• 訓練の安定化と勾配の流れの改善を図るため、残差接続とレイヤーナーミャライゼーションを適用する。
• 医療画像データセット上で標準的なセグメンテーション損失（例：Dice損失）を用いて、モデル全体をエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 各スケール内で局所的特徴とグローバル特徴をどのように効果的に統合すれば、小さな対象の表現学習が向上するか？
• RQ2 スケール間特徴相互作用を強化することで、サイズや形状が異なる医療画像の対象を処理する能力がどの程度向上するか？
• RQ3 軽量でスケールに注意を払ったトランスフォーマーモジュールは、計算コストを著しく増加させることなく性能向上を達成できるか？
• RQ4 提案されたインフラスケールおよびインタースケール設計は、医療画像セグメンテーションにおける標準的なビジョントランスフォーマーバックボーンと比較してどのように優れているか？

主な発見

• ScaleFormer は、nnU-Net やその他の標準データセットを含む、複数の医療画像セグメンテーションベンチマークで最先端の性能を達成している。
• アブレーションスタディにより、インフラスケールおよびインタースケールモジュールの両方が、特に小さな対象に対して顕著な性能向上に寄与していることが確認された。
• 局所的・グローバル特徴の統合が改善されたことで、小さな対象や不規則な形状の構造物のセグメンテーション精度が向上した。
• 空間に注意を払ったインタースケールモジュールは、スケール階層全体にわたる依存関係を効果的に捉え、より頑健な特徴表現を実現した。
• 既存のトランスフォーマーベースのバックボーンと比較して、競争力のある推論速度とパラメータ効率を維持している。