[論文レビュー] DCAU-Net: Differential Cross Attention and Channel-Spatial Feature Fusion for Medical Image Segmentation

Yanxin Li, Hui Wan+1 more|arXiv (Cornell University)|Mar 10, 2026

Advanced Neural Network Applications被引用数 0

ひとこと要約

DCAU-Net は、ウィンドウレベルのキー/バリューを用いたDifferential Cross Attention (DCA) と、エンコーダのスキップ接続とデコーダの特徴を効率的に融合する Channel-Spatial Feature Fusion (CSFF) 戦略を導入し、Synapse と ACDC で最先端のセグメンテーションを実現しつつ計算コストを低減します。

ABSTRACT

Accurate medical image segmentation requires effective modeling of both long-range dependencies and fine-grained boundary details. While transformers mitigate the issue of insufficient semantic information arising from the limited receptive field inherent in convolutional neural networks, they introduce new challenges: standard self-attention incurs quadratic computational complexity and often assigns non-negligible attention weights to irrelevant regions, diluting focus on discriminative structures and ultimately compromising segmentation accuracy. Existing attention variants, although effective in reducing computational complexity, fail to suppress redundant computation and inadvertently impair global context modeling. Furthermore, conventional fusion strategies in encoder-decoder architectures, typically based on simple concatenation or summation, can not adaptively integrate high-level semantic information with low-level spatial details. To address these limitations, we propose DCAU-Net, a novel yet efficient segmentation framework with two key ideas. First, a new Differential Cross Attention (DCA) is designed to compute the difference between two independent softmax attention maps to adaptively highlight discriminative structures. By replacing pixel-wise key and value tokens with window-level summary tokens, DCA dramatically reduces computational complexity without sacrificing precision. Second, a Channel-Spatial Feature Fusion (CSFF) strategy is introduced to adaptively recalibrate features from skip connections and up-sampling paths through using sequential channel and spatial attention, effectively suppressing redundant information and amplifying salient cues. Experiments on two public benchmarks demonstrate that DCAU-Net achieves competitive performance with enhanced segmentation accuracy and robustness.

研究の動機と目的

• 長距離依存性と細かな境界ディテールをモデル化して医用画像の正確なセグメンテーションを動機づける。
• 医用画像に適した計算効率の高いアテンション機構を提案する。
• エンコーダ-デコーダフレームワークにおける高レベルと低レベルの特徴をより良く結合する適応的特徴融合戦略を開発する。
• 提案手法が公開ベンチマークでセグメンテーション精度を向上させることを示す。

提案手法

• DCA（Differential Cross Attention）を導入し、2つの独立したウィンドウレベルのアテンションマップの差分を計算して識別的な構造を強調する。
• ピクセル単位のキー/バリューをウィンドウレベルの要約に置換して計算量をM^2倍低減する。
• 学習可能なラムダを用いたマルチヘッド差分アテンションと効率のためのRMSNormを採用する。
• DCA を深さ方向畳み込みとMLPを伴う残差フレームワークの中に組み込んだ DCA Block を使用する。
• CSFF（Channel-Spatial Feature Fusion）を設計し、連続的なチャンネルと空間アテンションを通じてエンコーダ-デコーダ特徴を適応的に再調整する。
• CSFF を介してスキップ接続特徴とアップサンプリング済みデコーダ特徴を最終集約前に融合する（U字アーキテクチャ）。
• Synapse および ACDC データセット上で精度向上と頑健性を示す。

実験結果

リサーチクエスチョン

• RQ1 ウィンドウレベルのキー/バリューを用いた差分クロスアテンションが、医用画像セグメンテーションにおいて計算を削減しつつ長距離モデリングに競争力を持つか。
• RQ2 適応的なチャンネル-空間特徴融合はエンコーダ-デコーダ特徴の統合を改善し、冗長性を抑え境界精度と全体のセグメンテーション性能を向上させるか。
• RQ3 提案された DCAU-Net アーキテクチャに対する事前学習重みと初期化戦略の影響はどうか。
• RQ4 DCAU-Net は公的な医用セグメンテーションベンチマークで、精度と効率の点で最先端のCNN/Transformerベース手法と比べてどうか。

主な発見

Methods	Params (M)	Flops (G)	DSC (%) ↑	HD (mm) ↓	Aorta	Gallbladder	Kidney (L)	Kidney (R)	Liver	Pancreas	Spleen	Stomach
U-Net	14.80	8.43	76.85	39.70	89.07	69.72	77.77	68.60	93.43	53.98	86.67	75.58
Att-UNet	34.88	66.64	77.77	36.02	89.55	68.88	77.98	71.11	93.57	58.04	87.30	75.75
TransUNet	105.28	29.35	77.48	31.69	87.23	63.13	81.87	77.02	94.08	55.86	85.08	75.62
Swin-Unet	27.17	6.16	79.13	21.55	85.47	66.53	83.28	79.61	94.29	56.58	90.66	76.60
HiFormer	25.51	8.05	80.39	14.70	86.21	65.69	85.23	79.77	94.61	59.52	90.99	81.08
PVT-CASCADE	35.28	7.62	81.06	20.23	83.01	70.59	82.23	80.37	94.08	64.43	90.10	83.69
MISSFormer	42.46	9.89	81.96	18.20	86.99	68.65	85.21	82.00	94.41	65.67	91.92	80.81
BRAU-Net++	62.63	17.66	82.47	19.07	87.95	69.10	87.13	81.53	94.71	65.17	91.89	82.26
DCAU-Net (Ours)	21.56	4.67	83.29	15.14	87.91	73.09	88.20	84.05	94.98	63.89	93.26	80.94

• DCAU-Net は Synapse で 83.29% の全体 Dice 相関係数（DSC）、4.67G FLOPs、21.56M パラメータで最先端を達成。
• Synapse では胆嚢、左腎、右腎、肝臓、脾臓の器官別 DSC が最高となる。
• ACDC では全体DSC が 92.11% の新しい最先端を達成し、心筋（Myo）と左心室（LV）でトップパフォーマンスを示す。
• CSFF ブロックは標準の U-Net 融合ベースラインより DSC を 1.49% 向上させ、Hausdorff距離を 2.87 mm 減少させる。
• ダイナミックラムダ初期化を用いた差分アテンションは標準アテンションより一貫して優れており、最良の結果はダイナミックラムダ初期化によるもの。
• ImageNet で事前学習した重みは Synapse で DSC を約 2.04% 向上させ、HD を約 2.49 mm 減少させる。