[論文レビュー] CATFA-Net: A Trans-Convolutional Approach for Accurate Medical Image Segmentation

Siddhartha Mallick, Aayushman Ghosh+2 more|arXiv (Cornell University)|Mar 15, 2026

Advanced Neural Network Applications被引用数 0

ひとこと要約

CATFA-Netは階層的ハイブリッドエンコーダと軽量畳み込みデコーダを備え、Context Addition AttentionとCross-Channel Trans-Convolutional Fusionを導入して、複数の医用データセットでDiceスコアの最先端性能を達成する一方、計算効率も高める。

ABSTRACT

Convolutional blocks have played a crucial role in advancing medical image segmentation by excelling in dense prediction tasks. However, their inability to effectively capture long-range dependencies has limited their performance. Transformer-based architectures, leveraging attention mechanisms, address this limitation by modeling global context and creating expressive feature representations. Recent research has explored this potential by introducing hybrid frameworks that combine transformer encoders with convolutional decoders. Despite their advantages, these approaches face challenges such as limited inductive bias, high computational cost, and reduced robustness to data variability. To overcome these issues, this study introduces CATFA-Net, a novel and efficient segmentation framework designed to produce high-quality segmentation masks while reducing computational costs and increasing inference speed. CATFA-Net employs a hierarchical hybrid encoder architecture with a lightweight convolutional decoder backbone. Its transformer-based encoder uses a new Context Addition Attention mechanism that captures inter-image dependencies without the quadratic complexity of standard attention mechanisms. Features from the transformer branch are fused with those from the convolutional branch through a proposed Cross-Channel Attention mechanism, which helps retain spatial and channel information during downsampling. Additionally, a Spatial Fusion Attention mechanism in the decoder refines features while reducing background noise ambiguity. Extensive evaluations on five publicly available datasets show that CATFA-Net outperforms existing methods in accuracy and efficiency. The framework sets new state-of-the-art Dice scores on GLaS (94.48%) and ISIC 2018 (91.55%). Robustness tests and external validation further demonstrate its strong ability to generalize in binary segmentation tasks.

研究の動機と目的

• 医療画像分割において従来のConvNetsを超える長距離依存性を捉える必要性を動機づける。
• ConvNeXtとトランスフォーマー由来のH-CATを結合した、二次の複雑性を低減した効率的なハイブリッドエンコーダを開発する。
• 特徴をチャンネル間および空間次元で融合する文脈認識アテンション機構を導入する。
• デコーディング時の背景ノイズを抑制する空間アテンション融合ゲートと軽量なConv-G-NeXtデコーダで背景ノイズを軽減する。
• 多様な公開データセットに対する強い汎化性と頑健性を示す。

提案手法

• ConvNeXtエンコーダ枝と階層的Context Addition Transformer（H-CAT）エンコーダ枝の2系統のトランス-畳み込みエンコーダを提案する。
• 標準の自己アテンションをContext Addition Self-Attention（CAP）に置換し、空間縮小ブロックを用いて計算量を低減しつつ画像間依存性をモデル化する。
• 固定位置エンコーディングを持たず、位置情報をエンコードする深さ方向全畳み込みネットワーク（d-FCN）を組み込む。
• Cross Channel Trans-Convolution Fusion Attention（CCTFA）を用いて、クロスチャネルアテンションと空間アテンションを統合してエンコーダ出力を融合する。
• Spatial Attention Fusion Gate（SAFG）を備えたConv-G-NeXtデコーダを用いてアップサンプリングを精製し背景ノイズを抑制する。
• BNベースのConv-G-NeXtブロックとGELU活性化をデコーダの性能向上に寄与させる。

Figure 1: Demonstrating the importance of modeling long-range dependencies. Examples from various medical imaging benchmarks (GLaS, DS Bowl 2018, REFUGE, CVC Clinic DB, ISIC 2018) are shown. Blue outlines represent the ground truth (gt), red outlines indicate U-Net predictions, and green outlines sh

実験結果

リサーチクエスチョン

• RQ1 ConvNeXtとトランスフォーマー風H-CATを組み合わせたハイブリッドエンコーダは、医用画像分割においてグローバルコンテキストを効率的に捉えられるか？
• RQ2 Context Addition Self-Attention機構は、計算量を削減しつつ画像間依存性を保てるか？
• RQ3 Cross Channel Trans-Convolution Fusion Attentionは、両方のエンコーダ枝からのマルチスケール特徴を効果的に統合できるか？
• RQ4 Spatial Attention Fusion Gateはデコーダの背景ノイズや誤分類に対する頑健性を向上させるか？
• RQ5 提案設計は最先端のDiceスコアと、複数の公開データセットでの頑健な性能を実現するか？

主な発見

• GLaSでのDiceスコアは最先端（94.48%）、ISIC 2018で最先端（91.55%）。
• 5つの公開データセット（GLaS、DS Bowl 2018、REFUGE、CVC Clinic DB、ISIC 2018）で優れた性能を示す。
• 頑健な二値分割タスクでの一般化能力が、頑健性分析と外部検証によって示される。
• CAPと注意パスウェイの空間縮小により、全自己アテンションと比べて計算負荷を削減。
• デコーダでConv-G-NeXtブロックとBNベースの正規化を用いることで、LNよりもデコード精度が改善。
• 再現性のための公開PyTorch実装を提供。

Figure 2: Overview of the proposed CATFA-Net model for efficient medical image segmentation . This architecture integrates ConvNeXt and H-CAT encoder branches for efficient feature extraction, utilizing advanced attention mechanisms such as context-addition attention, which captures inter-image rese