[論文レビュー] D-Net: Dynamic Large Kernel with Dynamic Feature Fusion for Volumetric Medical Image Segmentation

Jin Yang, Peijie Qiu+3 more|arXiv (Cornell University)|Mar 15, 2024

Medical Image Segmentation Techniques被引用数 8

ひとこと要約

D-NetはDynamic Large Kernel (DLK)とDynamic Feature Fusion (DFF)を階層型トランスフォーマに統合し、いくつかのベースラインよりもパラメータ数とFLOPsを抑えつつ、多スケールでグローバルに情報を取り込む3D医療画像分割を実現します。

ABSTRACT

Hierarchical transformers have achieved significant success in medical image segmentation due to their large receptive field and capabilities of effectively leveraging global long-range contextual information. Convolutional neural networks (CNNs) can also deliver a large receptive field by using large kernels, enabling them to achieve competitive performance with fewer model parameters. However, CNNs incorporated with large convolutional kernels remain constrained in adaptively capturing multi-scale features from organs with large variations in shape and size due to the employment of fixed-sized kernels. Additionally, they are unable to utilize global contextual information efficiently. To address these limitations, we propose Dynamic Large Kernel (DLK) and Dynamic Feature Fusion (DFF) modules. The DLK module employs multiple large kernels with varying kernel sizes and dilation rates to capture multi-scale features. Subsequently, a dynamic selection mechanism is utilized to adaptively highlight the most important spatial features based on global information. Additionally, the DFF module is proposed to adaptively fuse multi-scale local feature maps based on their global information. We integrate DLK and DFF in a hierarchical transformer architecture to develop a novel architecture, termed D-Net. D-Net is able to effectively utilize a multi-scale large receptive field and adaptively harness global contextual information. Extensive experimental results demonstrate that D-Net outperforms other state-of-the-art models in the two volumetric segmentation tasks, including abdominal multi-organ segmentation and multi-modality brain tumor segmentation. Our code is available at https://github.com/sotiraslab/DLK.

研究の動機と目的

• Adaptive large kernelsを用いてマルチスケール文脈を捉え、3D体積分割の改善を目指す。
• 大きな形状・サイズの変動を持つ臓器に対するCNNの固定カーネルの制約を克服する。
• グローバルな文脈情報を活用して情報量の多い空間特徴を選択的に強調する。

提案手法

• Dynamic Large Kernel (DLK)を、階層的に深さ方向へ広がるカスケード畳み込み（例：5x5x5および7x7x7、拡張）として導入し受容野を拡張する。
• 空間ごとのダイナミック選択機構を適用してグローバル文脈を用いDLK出力を適応的に重み付けする。
• Dynamic Feature Fusion (DFF)を提案し、グローバル情報に guided されたチャンネル-wiseおよび空間-wise ダイナミック選択を通じてマルチスケール局所特徴を適応的に融合する。
• DLKとDFFを階層型トランスフォーマー主幹に組み込み、ステージごとに二つのDLKブロックを持つEncoder–Bottleneck–Decoderアーキテクチャを採用する。
• サリエンス層を用いて意味的に重要な空間特徴を抽出・デコーダ特徴と融合し最終的なボクセル-wise分割を実現する。
• Dice lossとCross-Entropy lossの組み合わせで訓練し、AdamWまたはSGDと標準的な学習率スケジュールを用いる。

Figure 1: The architecture of the DLK. Feature maps $\boldsymbol{X}_{1}^{l}$ and $\boldsymbol{X}_{2}^{l}$ are extracted by $5\times 5\times 5$ DWConv and $7\times 7\times 7$ DWConv from input features $\boldsymbol{X}^{l}$ , respectively. The dynamic selection values $w_{1}$ and $w_{2}$ are generated

実験結果

リサーチクエスチョン

• RQ1 動的でマルチスケールな大カーネルアプローチは、固定大カーネルCNNや純粋なトランスフォーマーベースのバックボーンより3D体積分割を改善できるか？
• RQ2 グローバル情報を活用したダイナミック特徴フュージョンは、3D医療画像におけるマルチスケール局所特徴の統合を強化するか？
• RQ3 D-Netは腹部の多臓器分割および脳腫瘍分割で、最先端手法と比較してどうか？

主な発見

タスク	3D UNet	TransBTS	UNETR	nnFormer	UX-Net	DLK-Net	D-Net	平均	パラメータ	FLOPs
Spleen	95.86	95.51	95.14	89.44	96.65	96.37	96.74
R. kidney	95.89	95.28	95.46	88.12	96.22	96.25	96.31
L. kidney	96.08	95.22	94.72	86.89	96.03	96.09	96.17
Gall bladder	83.21	82.33	76.90	69.20	82.60	83.89	84.08
Esophagus	81.80	80.00	77.53	58.92	80.98	82.19	82.30
Liver	97.27	96.79	96.64	94.14	97.03	97.31	97.59
Stomach	87.96	88.18	85.27	75.36	87.78	88.67	93.51
Aorta	93.78	93.38	92.76	85.77	93.99	94.41	95.19
Postcava	88.75	88.66	85.76	75.03	88.92	89.85	91.28
Pancreas	84.28	82.11	80.65	66.74	84.12	85.99	86.16
R. adrenal gland	76.02	72.50	72.64	55.41	74.50	78.16	79.60
L. adrenal gland	74.43	70.74	68.30	47.91	73.17	77.33	78.49
Duodenum	77.90	76.10	69.76	53.85	77.68	80.46	81.12
Bladder	90.23	88.96	85.35	74.07	91.14	90.73	91.40
Prostate	83.87	80.69	81.22	55.51	79.75	84.94	85.23
R. adrenal gland	74.43	70.74	68.30	47.91	73.17	77.33	78.49
L. adrenal gland	74.43	70.74	68.30	47.91	73.17	77.33	78.49
Duodenum	77.90	76.10	69.76	53.85	77.68	80.46	81.12
Avg	87.16	85.76	83.87	71.76	86.70	88.18	89.01
Params ↓	107.71M	31.58M	92.78M	149.33M	53.01M	29.17M	29.96M
FLOPs ↓	1046.39G	110.71G	82.73G	284.28G	632.33G	47.14G	236.90G

• D-NetはAMOS 2022の腹部多臓器分割タスクにおいて、検証ベースラインの中で最も総合的な性能を達成し、モデル複雑性も競争力を保つ。
• D-NetはMSD BraTS脳腫瘍分割において前景領域すべて（ET, ED, NET）および平均Diceスコアでベースラインを上回る。
• サリエンス層を除去し、より単純なフュージョンを用いたDLK-Netのアブレーションは、提案されたダイナミック機構の利点を示し、精度向上と複雑性の低減を示す。
• DLKはカスケード大カーネルと動的選択を通じてマルチスケール文脈情報を捉え、受容野の成長を効果的に実現する。
• DFFはグローバルチャネル・空間の手掛かりに guided されたマルチスケール特徴の適応的融合を可能にし、重要なマップを保持しつつ顕著な領域を強調する。
• 3D U-Net、TransUNet、TransBTS、UNETR、nnFormer、UX-Netと比較して、D-Netは、パラメータ数とFLOPsが同等以下または低く、Diceスコアが優れる。

Figure 2: The architecture of the DFF module. The global channel information $w_{ch}$ is extracted from feature maps $\boldsymbol{F}_{1}^{l}$ and $\boldsymbol{F}_{2}^{l}$ . These feature maps are calibrated and only informative features are selected by a convolution layer to generate features $\bold