[論文レビュー] M$^{2}$SNet: Multi-scale in Multi-scale Subtraction Network for Medical Image Segmentation

Xiaoqi Zhao, Hongpeng Jia+6 more|arXiv (Cornell University)|Mar 20, 2023

Advanced Neural Network Applications被引用数 76

ひとこと要約

M2SNet は encoder レベルとスケールを横断する差情報に焦点を当てる、差分ベースの多重スケール subtraction フレームワークを導入することで医療画像分割を改善します。

ABSTRACT

Accurate medical image segmentation is critical for early medical diagnosis. Most existing methods are based on U-shape structure and use element-wise addition or concatenation to fuse different level features progressively in decoder. However, both the two operations easily generate plenty of redundant information, which will weaken the complementarity between different level features, resulting in inaccurate localization and blurred edges of lesions. To address this challenge, we propose a general multi-scale in multi-scale subtraction network (M$^{2}$SNet) to finish diverse segmentation from medical image. Specifically, we first design a basic subtraction unit (SU) to produce the difference features between adjacent levels in encoder. Next, we expand the single-scale SU to the intra-layer multi-scale SU, which can provide the decoder with both pixel-level and structure-level difference information. Then, we pyramidally equip the multi-scale SUs at different levels with varying receptive fields, thereby achieving the inter-layer multi-scale feature aggregation and obtaining rich multi-scale difference information. In addition, we build a training-free network ``LossNet'' to comprehensively supervise the task-aware features from bottom layer to top layer, which drives our multi-scale subtraction network to capture the detailed and structural cues simultaneously. Without bells and whistles, our method performs favorably against most state-of-the-art methods under different evaluation metrics on eleven datasets of four different medical image segmentation tasks of diverse image modalities, including color colonoscopy imaging, ultrasound imaging, computed tomography (CT), and optical coherence tomography (OCT). The source code can be available at https://github.com/Xiaoqi-Zhao-DLUT/MSNet.

研究の動機と目的

• 豊富な多スケールおよび層間／層内微分情報を活用して正確な医療画像分割を動機付ける。
• 伝統的な特徴融合（加算/連結）を subtraction ベースの統合に置換して冗長性を低減する。
• ピクセルレベルおよび領域レベルの差を捉える効率的な層内多スケール subtraction ユニットを開発する。
• LossNet を導入して、特徴レベルのトレーニングなしの監視を提供し、ディテールから構造への分割をガイドする。
• 多様なモダリティ（大腸内視鏡、超音波、CT、OCT）での有効性を示し、GOALS チャレンジで競争力のある結果を達成する。

提案手法

• 隣接するエンコーダ特徴量の差を計算する基本的な subtraction ユニット（SU）を定義する。
• 追加のパラメータなしでマルチスケール差情報を捉えるため、サイズ 1x1、3x3、5x5 の固定フィルタを用いた層内多スケール subtraction ユニット（MSU）に拡張する。
• エンコーダレベル全体で複数の MSU を積み重ねて集約することで、リッチなレベル間微分特徴量（CE^i）を得る、層間の多スケール subtraction を構築する。
• LossNet はトレーニング不要の監督ネットワーク（VGG-16 のような事前学習分類器に基づく）として、予測と地真特徴間の特徴レベルの L2 損失を算出し、ディテールから構造への分割を導く。
• 加重 IoU、加重 BCE、L2 feature-guided loss L_f を含む結合損失でエンドツーエンドに学習し、境界の精度と構造的な正確性の両立を促進する。

実験結果

リサーチクエスチョン

• RQ1 subtraction ベースの特徴量融合は、冗長性を減らし識別的差情報を強化することで、医療画像分割で加算/連結を上回れるか？
• RQ2 層間および層内の多スケール subtraction（マルチスケールin多重 subtraction）は、さまざまな医療画像モダリティと構造で分割を改善するか？
• RQ3 トレーニング不要の LossNet は、手作業の損失設計なしでディテールから構造への効果的な監視を提供できるか？
• RQ4 M2SNet はポリープ、COVID-19 肺感染、乳腺超音波、OCT 層分割タスクで、最先端手法と比べてどの程度良好な性能を示すか？

主な発見

データセット	指標1 (mDice)	指標2 (mIoU)	指標3 (Fβ^w)	指標4 (Eφ^max)	指標5 (MAE)	Backbone	Method
ColonDB	0.758	0.685	0.737	0.842	0.038	R2-50	M2SNet
ETIS	0.749	0.678	0.712	0.846	0.017	R2-50	M2SNet
Kvasir	0.912	0.861	0.901	0.922	0.025	R2-50	M2SNet
CVC-T	0.903	0.842	0.881	0.939	0.009	R2-50	M2SNet
ClinicDB	0.922	0.880	0.917	0.942	0.009	R2-50	M2SNet

• M2SNet は、ポリップ、COVID-19 CT、乳腺超音波、OCT 層分割を含む 4 つの医療分割タスクと 11 のデータセットで、競合的または最先端レベルの性能を達成している。
• ColonDB、ETIS、Kvasir、CVC-T、ClinicDB のポリップデータセットで、R2-50 バックボーンを用いた M2SNet は ColonDB で mDice/mIoU/Fβ^w/Eφ^max/MAE が 0.758/0.685/0.737/0.842/0.038、ETIS で 0.749/0.678/0.712/0.846/0.017、いくつかのベースラインより改善を示した。
• MICCAI GOALS チャレンジで、M2SNet は 100 チーム中 2 位の結果に寄与した。
• COVID-19 肺 CT、乳腺超音波、GOALS OCT データセットでは、R2-50 バックボーンを用いた M2SNet が、複数のベースラインと比較して Dice の向上と MED/MAE の低下などの指標で改善を示す。
• アブレーション研究は、SU ユニットと LossNet 監視を順次追加することで性能が段階的に向上することを示し、層間/層内多スケール subtraction および特徴レベルのガイダンスの有効性を裏付けた。
• M2SNet は FLOPs とパラメータ数を比較的低く維持しつつ高い精度を達成しており、低い計算オーバーヘッドでの効率的な多スケール subtraction を示唆する。