[논문 리뷰] Sharp U-Net: Depthwise Convolutional Network for Biomedical Image Segmentation

Hasib Zunair, A. Ben Hamza|arXiv (Cornell University)|2021. 07. 26.

AI in cancer detection인용 수 5

한 줄 요약

이 논문은 인코더 특징 맵에 사전 정의된 锐화 공간 필터를 스킵 커넥션 병합 이전에 적용하는 딥웨이즈 컨볼루션 기반 U-Net 변종인 Sharp U-Net을 제안한다. 이는 저수준과 고수준 특징 간의 특징 불일치를 감소시켜 생체의학 영상에서 분할 정확도를 향상시키며, 학습 가능한 파rameter를 추가하지 않아도 된다. 이 방법은 여섯 개의 데이터셋에서 최신 기술을 초월하여 최대 12.6% 향상된 Dice 스코어를 기록한다.

ABSTRACT

The U-Net architecture, built upon the fully convolutional network, has proven to be effective in biomedical image segmentation. However, U-Net applies skip connections to merge semantically different low- and high-level convolutional features, resulting in not only blurred feature maps, but also over- and under-segmented target regions. To address these limitations, we propose a simple, yet effective end-to-end depthwise encoder-decoder fully convolutional network architecture, called Sharp U-Net, for binary and multi-class biomedical image segmentation. The key rationale of Sharp U-Net is that instead of applying a plain skip connection, a depthwise convolution of the encoder feature map with a sharpening kernel filter is employed prior to merging the encoder and decoder features, thereby producing a sharpened intermediate feature map of the same size as the encoder map. Using this sharpening filter layer, we are able to not only fuse semantically less dissimilar features, but also to smooth out artifacts throughout the network layers during the early stages of training. Our extensive experiments on six datasets show that the proposed Sharp U-Net model consistently outperforms or matches the recent state-of-the-art baselines in both binary and multi-class segmentation tasks, while adding no extra learnable parameters. Furthermore, Sharp U-Net outperforms baselines that have more than three times the number of learnable parameters.

연구 동기 및 목표

• 의미적으로 다름을 보이는 저수준 및 고수준 특징을 병합함으로써 발생하는 특징 맵의 흐림 현상과 과도/부족 분할 문제를 해결하기 위해.
• 공간적 锐화를 통해 인코더와 디코더 특징 간의 의미적 갭을 줄여 U-Net의 특징 병합 성능을 향상시키기 위해.
• 모델 복잡도를 증가시키지 않고도 이진 및 다중 클래스 생체의학 영상 분할 작업에서 성능을 향상시키기 위해.
• 모델 복잡도를 증가시키지 않고도 특징 표현을 향상시키고 초기 학습 단계에서 아티팩트를 억제하는 경량의 파rameter-free 향상 기법을 제공하기 위해.

제안 방법

• 스킵 커넥션 병합 이전에 인코더 특징 맵에 고정된 锐화 커널을 가진 딥웨이즈 컨볼루션을 적용한다.
• 각 채널별로 독립적으로 공간적 锐화 필터를 적용하여 초기 단계의 특징에서 미세한 세부 정보를 강조한다.
• 인코더 출력과 동일한 공간 차원을 유지함으로써 병합 과정에서 특징 맵 해상도를 유지한다.
• 사전 정의된 비학습 가능한 锐화 커널을 사용하여 초기 학습 단계에서 아티팩트를 완화하고 특징 일관성을 향상시킨다.
• 표준 U-Net 인코더-디코더 아키텍처를 유지하지만, 표준 스킵 커넥션 대신 锐화된 특징 병합을 적용한다.
• 표준 손실 함수(예: Jaccard 거리)와 아키텍처나 파arameter 오버헤드 없이 엔드 투 엔드 학습을 수행한다.

실험 결과

연구 질문

• RQ1 스킵 커넥션 병합 이전에 인코더 특징에 공간적 锐화 필터를 적용함으로써 특징 불일치를 감소시키고 분할 정확도를 향상시킬 수 있는가?
• RQ2 제안된 锐화 메커니즘이 생체의학 영상 분할에서 흐린 특징 맵과 과도/부족 분할 아티팩트를 줄일 수 있는가?
• RQ3 학습 가능한 파arameter를 추가하지 않으면서도 딥웨이즈 锐화 레이어가 성능 향상에 기여할 수 있는가?
• RQ4 다양한 생체의학 영상 데이터셋에서 최신 기술 모델보다 훨씬 많은 파arameter를 가진 모델들과 비교해 볼 때 Sharp U-Net은 어떻게 성능을 내는가?

주요 결과

• CVC-ClinicDB 내 endoscopy 데이터셋에서 Sharp U-Net은 U-Net 및 기타 베이스라인 모델보다 12.6% 향상된 Dice 스코어를 기록했다.
• ISBI-2012 데이터셋에서 Sharp U-Net은 전경 클래스 불균형이 존재하는 상황에서도 Dice 스코어가 3.63% 향상되었다.
• EM, 내 endoscopy, 피부병변, 세포핵, CT, 폐 분할을 포함한 여섯 개의 다양한 생체의학 영상 데이터셋에서 일관되게 최신 기술 모델을 초월하거나 동등한 성능을 기록했다.
• 추가 학습 가능한 파arameter가 없음에도 불구하고, 여러 벤치마크에서 파arameter 수가 3배 이상 많은 모델들을 뛰어넘었다.
• Grad-CAM 시각화 결과, Sharp U-Net은 더 정확하고 국소화된 활성화를 생성하여 디코더의 깊은 층에서 진짜 마스크와 더 잘 일치함을 확인했다.
• 锐화 필터는 초기 학습 단계에서 아티팩트를 억제하여 네트워크 전반에 걸쳐 더 안정적이고 정교한 특징 학습을 이끌어냈다.