[논문 리뷰] U-Net v2: Rethinking the Skip Connections of U-Net for Medical Image Segmentation

Yaopeng Peng, Milan Sonka외 1명|arXiv (Cornell University)|2023. 11. 29.

Brain Tumor Detection and Classification인용 수 46

한 줄 요약

요약: SDI 모듈은 고수준 시맨틱 정보와 저수준 디테일을 Hadamard 곱을 통해 주입하여 멀티-레벨 인코더 특성을 정제하고, 효율성을 유지하면서 의료 영상 분할 정확도를 향상시킨다.

ABSTRACT

In this paper, we introduce U-Net v2, a new robust and efficient U-Net variant for medical image segmentation. It aims to augment the infusion of semantic information into low-level features while simultaneously refining high-level features with finer details. For an input image, we begin by extracting multi-level features with a deep neural network encoder. Next, we enhance the feature map of each level by infusing semantic information from higher-level features and integrating finer details from lower-level features through Hadamard product. Our novel skip connections empower features of all the levels with enriched semantic characteristics and intricate details. The improved features are subsequently transmitted to the decoder for further processing and segmentation. Our method can be seamlessly integrated into any Encoder-Decoder network. We evaluate our method on several public medical image segmentation datasets for skin lesion segmentation and polyp segmentation, and the experimental results demonstrate the segmentation accuracy of our new method over state-of-the-art methods, while preserving memory and computational efficiency. Code is available at: https://github.com/yaoppeng/U-Net_v2

연구 동기 및 목표

• 전통적인 U-Net의 건너뛰기 연결이 의료 영상에서 갖는 한계와 한계를 자극하고 해결한다.
• 각 인코더 레벨에서 고수준 특징의 의미 정보를 저수준 특징의 미세 디테일과 결합하는 경량 메커니즘을 제시한다.
• SDI로 향상된 특징이 피부 병변 및 용종 데이터세트에서 분할 정확도를 향상시키되 과도한 메모리나 FLOPs 없이 작동함을 입증한다.

제안 방법

• 다중 레벨 인코더 특징 추출.
• 각 레벨에 공간 및 채널 주의를 적용한 뒤 공통 잠재 차원으로 1x1 채널 감소를 수행한다.
• 모든 레벨 특징을 동일 해상도로 리사이즈하고 매끄럽게 만든 뒤 Hadamard 곱으로 결합하여 디코더용 SDI-강화 특징을 생성한다.
• SDI 모듈을 어떤 인코더-디코더 네트워크에도 통합하고 피부 병변 및 폴립 분할 데이터셋에서 평가한다.

Fig. 1 : (a) The overall architecture of our U-Net v2 model, which consists of an Encoder, the SDI (semantics and detail infusion) module, and a Decoder. (b) The architecture of the SDI module. For simplicity, we only show the refinement of the third level features ( $l=3$ ). SmoothConv denotes a $3

실험 결과

연구 질문

• RQ1 SDI 모듈이 고수준 시맨틱과 저수준 디테일을 주입함으로써 각 레벨 특징의 풍부함을 실제로 향상시키는가?
• RQ2 각 인코더 레벨에서의 Hadamard-곱 기반 융합이 계산 효율성을 유지하면서 더 나은 분할을 제공하는가?
• RQ3 ISIC 피부 병변 데이터셋 및 공개 폴립 분할 데이터셋에서 SDI가 적용된 U-Net v2가 최첨단 방법과 비교하여 어떤 성능을 보이는가?

주요 결과

Dataset	Method	DSC (%)	IoU (%)	MAE (for polyp datasets)
ISIC 2017	U-Net (baseline)	86.99	76.98
ISIC 2017	TransFuse	88.40	79.21
ISIC 2017	MALUNet	88.13	78.78
ISIC 2017	EGE-UNet	88.77	79.81
ISIC 2017	U-Net v2 (ours)	90.21	82.17
ISIC 2018	U-Net (baseline)	87.55	77.86
ISIC 2018	UNet++	87.83	78.31
ISIC 2018	TransFuse	89.27	80.63
ISIC 2018	SANet	88.59	79.52
ISIC 2018	EGE-UNet	89.04	80.25
ISIC 2018	U-Net v2 (ours)	91.52	84.15
Polyp Datasets	Kvasir-SEG (PVT encoder)	92.8	88.0	0.019
Polyp Datasets	ClinicDB (PVT encoder)	94.4	89.6	0.006
Polyp Datasets	ColonDB (PVT encoder)	81.2	73.1	0.030
Polyp Datasets	ETIS (PVT encoder)	79.0	70.5	0.013
Polyp Datasets	Endoscene (PVT encoder)	89.7	83.1	0.007

• U-Net v2는 ISIC 2017에서 DSC가 1.44%, IoU가 2.36% 증가하고 ISIC 2018에서 DSC가 2.48%, IoU가 3.90% 증가하며 여러 최첨단 방법보다 우수하게 작동한다.
• 폴립 데이터셋에서 U-Net v2는 Poly-PVT 및 다른 방법들을 상회하며 Kvasir-SEG, ClinicDB, ColonDB, ETIS에서 일관된 DSC 및 IoU 개선을 달성한다.
• 연구 배치(ablations)에서 SDI 모듈이 성능에 가장 크게 기여하며 SDI를 제거하면 결과가 저하되고, 건너뛰기 연결만 제거해도 성능이 감소하여, 연결 기반 융합보다 SDI의 이점을 강조한다.
• PVT 백본을 사용하는 U-Net 및 UNet++ 기반선과 비교할 때, U-Net v2는 더 낮은 GPU 메모리 사용량과 유리한 FLOPs 및 FPS를 유지하며 경쟁력 있거나 더 나은 분할 성능을 달성한다.

Fig. 2 : Example segmentations from ISIC 2017 dataset. We use PVT as the encoder for U-Net and UNet++.