[論文レビュー] U-Net v2: Rethinking the Skip Connections of U-Net for Medical Image Segmentation

Yaopeng Peng, Milan Sonka+1 more|arXiv (Cornell University)|Nov 29, 2023

Brain Tumor Detection and Classification被引用数 46

ひとこと要約

U-Net v2は、セマンティクスとディテールの注入（SDI）モジュールを導入し、Hadamard積を用いて上位レベルのセマンティクスと下位レベルのディテールを統合して多段階エンコーダ特徴を改良することで、効率を維持しつつ医用画像分割の精度を向上させます。

ABSTRACT

In this paper, we introduce U-Net v2, a new robust and efficient U-Net variant for medical image segmentation. It aims to augment the infusion of semantic information into low-level features while simultaneously refining high-level features with finer details. For an input image, we begin by extracting multi-level features with a deep neural network encoder. Next, we enhance the feature map of each level by infusing semantic information from higher-level features and integrating finer details from lower-level features through Hadamard product. Our novel skip connections empower features of all the levels with enriched semantic characteristics and intricate details. The improved features are subsequently transmitted to the decoder for further processing and segmentation. Our method can be seamlessly integrated into any Encoder-Decoder network. We evaluate our method on several public medical image segmentation datasets for skin lesion segmentation and polyp segmentation, and the experimental results demonstrate the segmentation accuracy of our new method over state-of-the-art methods, while preserving memory and computational efficiency. Code is available at: https://github.com/yaoppeng/U-Net_v2

研究の動機と目的

• 医用画像診断のためのU-Netにおける従来のスキップ接続の動機付けと限界への対応。
• 各エンコーダレベルで、高レベル特徴のセマンティック情報と低レベル特徴の細かなディテールを統合する軽量なメカニズムを提案する。
• SDI強化特徴が、過度なメモリやFLOPsを伴うことなく、皮膚病変データセットとポリプデータセットで分割精度を改善することを示す。

提案手法

• 多段階のエンコーダ特徴を抽出。
• 各レベルに空間・チャネル注意を適用し、共通の潜在次元へ1x1チャネル削減を行う。
• すべてのレベル特徴を同じ解像度にリサイズ・平滑化し、Hadamard積で結合してデコーダ用のSDI強化特徴を生成する。
• 任意のエンコーダ-デコーダネットワークにSDIモジュールを組み込み、皮膚病変とポリプの分割データセットで評価する。

Fig. 1 : (a) The overall architecture of our U-Net v2 model, which consists of an Encoder, the SDI (semantics and detail infusion) module, and a Decoder. (b) The architecture of the SDI module. For simplicity, we only show the refinement of the third level features ( $l=3$ ). SmoothConv denotes a $3

実験結果

リサーチクエスチョン

• RQ1 SDIモジュールは、上位レベルのセマンティクスと下位レベルのディテールを注入することで、レベルごとの特徴の豊富さを向上させるか。
• RQ2 各エンコーダレベルでのHadamard積ベースの統合は、計算効率を保ちながらより良いセグメンテーションをもたらすか。
• RQ3 ISIC皮膚病変データセットおよび公開ポリプ分割データセットで、SDIを搭載したU-Net v2は最先端手法と比較してどのような性能を示すか？

主な発見

データセット	手法	DSC (%)	IoU (%)	MAE（ポリプデータセット用）
ISIC 2017	U-Net (baseline)	86.99	76.98
ISIC 2017	TransFuse	88.40	79.21
ISIC 2017	MALUNet	88.13	78.78
ISIC 2017	EGE-UNet	88.77	79.81
ISIC 2017	U-Net v2 (ours)	90.21	82.17
ISIC 2018	U-Net (baseline)	87.55	77.86
ISIC 2018	UNet++	87.83	78.31
ISIC 2018	TransFuse	89.27	80.63
ISIC 2018	SANet	88.59	79.52
ISIC 2018	EGE-UNet	89.04	80.25
ISIC 2018	U-Net v2 (ours)	91.52	84.15
Polyp Datasets	Kvasir-SEG (PVT encoder)	92.8	88.0	0.019
Polyp Datasets	ClinicDB (PVT encoder)	94.4	89.6	0.006
Polyp Datasets	ColonDB (PVT encoder)	81.2	73.1	0.030
Polyp Datasets	ETIS (PVT encoder)	79.0	70.5	0.013
Polyp Datasets	Endoscene (PVT encoder)	89.7	83.1	0.007

• U-Net v2はISIC 2017および2018で複数の最先端手法を上回り、それぞれDSCが1.44%、2.48%のゲイン、IoUが2.36%、3.90%のゲインを達成。
• ポリプデータセットでは、U-Net v2はPoly-PVTおよび他手法を上回り、Kvasir-SEG、ClinicDB、ColonDB、ETISで一貫したDSCおよびIoUの改善を示す。
• アブレーション研究では、SDIモジュールが性能に最も寄与することを示し、SDIを除去すると結果が劣化する。スキップ接続だけを除去しても性能低下が生じ、結合型融合よりSDIの利点を強調する。
• PVTバックボーンを用いたU-NetおよびUNet++のベースラインと比較して、U-Net v2は競争力のあるまたはそれ以上の分割性能を達成しつつ、GPUメモリ使用量を低く、FLOPsとFPSも有利である。

Fig. 2 : Example segmentations from ISIC 2017 dataset. We use PVT as the encoder for U-Net and UNet++.