[論文レビュー] Dual Cross-Attention for Medical Image Segmentation

Gorkem Can Ates, Prasoon P. Mohan+1 more|arXiv (Cornell University)|Mar 30, 2023

Radiomics and Machine Learning in Medical Imaging参考文献 74被引用数 4

ひとこと要約

本稿では、U-Netベースの医療画像セグメンテーションモデルにおけるスキップ接続を、マルチスケールエンコーダー特徴量のチャネルごとの依存関係と空間的依存関係を逐次にモデル化するクロスアテンションを用いて向上させる、軽量なアテンションモジュールであるデュアルクロスアテンション（DCA）を提案する。DCAは、モデルの複雑さを著しく増加させることなく、エンコーダー特徴量とデコーダー特徴量の間の意味的ギャップを縮小することで、5つのベンチマークデータセットで一貫したDiceスコアの向上（最大2.05%向上）を達成する。

ABSTRACT

We propose Dual Cross-Attention (DCA), a simple yet effective attention module that is able to enhance skip-connections in U-Net-based architectures for medical image segmentation. DCA addresses the semantic gap between encoder and decoder features by sequentially capturing channel and spatial dependencies across multi-scale encoder features. First, the Channel Cross-Attention (CCA) extracts global channel-wise dependencies by utilizing cross-attention across channel tokens of multi-scale encoder features. Then, the Spatial Cross-Attention (SCA) module performs cross-attention to capture spatial dependencies across spatial tokens. Finally, these fine-grained encoder features are up-sampled and connected to their corresponding decoder parts to form the skip-connection scheme. Our proposed DCA module can be integrated into any encoder-decoder architecture with skip-connections such as U-Net and its variants. We test our DCA module by integrating it into six U-Net-based architectures such as U-Net, V-Net, R2Unet, ResUnet++, DoubleUnet and MultiResUnet. Our DCA module shows Dice Score improvements up to 2.05% on GlaS, 2.74% on MoNuSeg, 1.37% on CVC-ClinicDB, 1.12% on Kvasir-Seg and 1.44% on Synapse datasets. Our codes are available at: https://github.com/gorkemcanates/Dual-Cross-Attention

研究の動機と目的

• U-Netベースのアーキテクチャにおけるエンコーダー特徴量とデコーダー特徴量の間の意味的ギャップを解消すること。
• マルチスケールエンコーダー特徴量にわたる長距離依存関係をモデル化することで、スキップ接続のパフォーマンスを向上させること。
• 計算オーバーヘッドを増加させることなく、特徴量統合を強化する軽量で即挿入可能なアテンションモジュールを設計すること。
• DCAの有効性を多様なU-Netバリエーションおよびベンチマークデータセット上で検証すること。

提案手法

• DCAは、マルチスケールエンコーダー特徴量のチャネルトークン間でクロスアテンションを適用することで、グローバルなチャネルごとの依存関係を捉えるチャネルクロスアテンション（CCA）を採用する。
• その後、特徴マップ内の空間トークンに対してクロスアテンションを適用することで空間的依存関係をモデル化する空間クロスアテンション（SCA）を適用する。
• CCAモジュールとSCAモジュールは、CCA-SCAの順序で逐次的に適用され、特徴マップは2次元平均プーリングによりパッチ埋め込みが行われ、1×1深度分離畳み込みにより投影が行われる。
• 強化されたエンコーダー特徴量はアップサンプリングされ、対応するデコーダー層にスキップ接続により接続され、従来の連結処理に置き換わる。
• DCAブロックは、スキップ接続を備えた任意のU-Netベースアーキテクチャに容易に統合可能である。
• アブレーションスタディでは、統合戦略（和、連結、逐次）とパッチ埋め込み手法（平均プーリング対畳み込み）を比較する。

実験結果

リサーチクエスチョン

• RQ1 順次的にチャネルおよび空間的依存関係をモデル化するデュアルアテンション機構は、U-Netベースのセグメンテーションにおける特徴表現を向上させるか？
• RQ2 チャネルと空間のクロスアテンションの順序（CCA-SCA 対 SCA-CCA）のうち、最適なパフォーマンスを達成するのはどれか？
• RQ3 チャネルおよび空間アテンション出力の統合戦略（和、連結、逐次）のうち、最も効果的なのはどれか？
• RQ4 パrameter効率性と性能の観点から、平均プーリングと畳み込みによるパッチ埋め込みの比較では、どちらが優れているか？

主な発見

• CCA-SCAの逐次レイアウトが最良のパフォーマンスを達成し、GlaSでは0.79%、MoNuSegでは0.16%のDiceスコア向上を個別モジュールと比較して達成した。
• 逐次統合（CCA後にSCA）は、和と連結戦略を上回り、GlaSデータセットで2.05%のDiceスコア向上を達成した。
• パッチ埋め込みに2次元平均プーリングを用いることで、畳み込みによるパッチ埋め込みよりも優れた性能が得られ、GlaSでは0.14%高いDiceスコアと、パrameter数の削減が確認された。
• DCAは6種類のU-Netバリエーションすべてでセグメンテーションパフォーマンスを向上させ、MoNuSegで2.74%、Synapseで1.44%、CVC-ClinicDBで1.37%の向上を達成した。
• DCAモジュールは低い計算コストを維持しており、パrameter数の増加もわずか（例：U-Netでは8.75M vs. 8.64M）でありながら、一貫した性能向上を実現した。
• 本手法は一般化性に優れており、GlaS、MoNuSeg、CVC-ClinicDB、Kvasir-Seg、Synapseを含む多様なデータセットで顕著な向上を示した。