[論文レビュー] CMUNeXt: An Efficient Medical Image Segmentation Network based on Large Kernel and Skip Fusion

Fenghe Tang, Jianrui Ding+3 more|arXiv (Cornell University)|Aug 2, 2023

Advanced Neural Network Applications被引用数 9

ひとこと要約

CMUNeXt は、 inverted bottlenecks と Skip-Fusion ブロックを用いた大カーネルの深さ方向畳込みを用いる軽量で完全畳込みの U 字型医用画像分割ネットワークで、グローバル文脈を効率的に捉え、エンコーダ-デコーダの特徴を融合し、 ultrasound データセットにおいて低計算量・高速推論で高い精度を発揮します。

ABSTRACT

The U-shaped architecture has emerged as a crucial paradigm in the design of medical image segmentation networks. However, due to the inherent local limitations of convolution, a fully convolutional segmentation network with U-shaped architecture struggles to effectively extract global context information, which is vital for the precise localization of lesions. While hybrid architectures combining CNNs and Transformers can address these issues, their application in real medical scenarios is limited due to the computational resource constraints imposed by the environment and edge devices. In addition, the convolutional inductive bias in lightweight networks adeptly fits the scarce medical data, which is lacking in the Transformer based network. In order to extract global context information while taking advantage of the inductive bias, we propose CMUNeXt, an efficient fully convolutional lightweight medical image segmentation network, which enables fast and accurate auxiliary diagnosis in real scene scenarios. CMUNeXt leverages large kernel and inverted bottleneck design to thoroughly mix distant spatial and location information, efficiently extracting global context information. We also introduce the Skip-Fusion block, designed to enable smooth skip-connections and ensure ample feature fusion. Experimental results on multiple medical image datasets demonstrate that CMUNeXt outperforms existing heavyweight and lightweight medical image segmentation networks in terms of segmentation performance, while offering a faster inference speed, lighter weights, and a reduced computational cost. The code is available at https://github.com/FengheTan9/CMUNeXt.

研究の動機と目的

• 軽量医用分割においてエッジ/臨床制約下でグローバル文脈抽出の必要性を動機づける。
• 大カーネルブロックと inverted bottleneck デザインを持つ完全畳込みの CMUNeXt アーキテクチャを提案し、効率的なグローバル情報の混合を実現する。
• Smoothかつ効果的なエンコーダ-デコーダ特徴融合を可能にする Skip-Fusion ブロックを導入する。
• CMUNeXt が ultrasound の乳房および甲状腺データセットで計算量に対して有利な精度を達成することを実証し、オープンソースのコードとベンチマークを提供する。

提案手法

• CMUNeXt ブロックを導入する：GELU と BatchNorm を備えた residual 構成の深さ方向大カーネル畳込みと、2 つの inverted bottleneck ポイントワイズ畳込み。
• Skip-Fusion ブロックで従来のスキップ接続を置換する：エンコーダ-デコーダ特徴融合のためのグループ化畳込みと2つの inverted bottleneck ポイントワイズ畳込み。
• Stem を備えた5段階の U 字型 Encoder-Decoder を使用し、Down-Sample は max pooling、Decoder は Bilinear アップサンプリング。
• resized 256x256 画像でデータ拡張を行い、 BCE と Dice loss の複合と標準 SGD 最適化で学習。
• 異なるチャネル設定とカーネル設定を持つ3つの CMUNeXt バリアント（S、L、ベースライン）を提供し、精度と計算量のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 大規模なカーネルを持つ完全畳込みの軽量ネットワークは、超音波データ上で Transformer ベースや大規模 CNN ベースの医用分割モデルと同等以上を達成できるか。
• RQ2 提案される CMUNeXt ブロックは U-Net のようなアーキテクチャで最小パラメータで効果的なグローバル文脈結合を可能にするか。
• RQ3 Skip-Fusion ブロックはエンコーダ-デコーダ特徴融合と全体の分割性能をエッジ機器制約下で改善するか。
• RQ4 CMUNeXt バリアントは異なる超音波データセット間で精度、パラメータ、FLOPs、FPS をどのようにトレードオフするか。

主な発見

• CMUNeXt は heavyweight ベースラインよりもパラメータ数および計算量を抑えつつ、最先端の分割性能に競争力を持つ。
• CMUNeXt-S は超音波データセットで競争力のある IoU と F1 スコアを保ちつつ高速推論（高 FPS）を実現。
• CMUNeXt-L は CMU-Net および TransUNet に比べてパラメータと FLOPs を削減しつつ、FPS を向上させつつ高い性能を提供。
• 従来の畳み込みを CMUNeXt ブロックへ置換し、Skip-Fusion ブロックを追加するアブレーションにより、段階的に分割精度が向上し、効率性を維持。
• 大カーネル畳込みは誘導バイアスを保持しつつ医用画像でグローバル文脈を効果的に捉え、病変の正確な定位を支援。
• 複数データセットでの学習安定性が向上し、CMUNeXt は U-Net や UNeXt と比較して収束が速い。