[논문 리뷰] Concurrent Spatial and Channel Squeeze & Excitation in Fully Convolutional Networks

Abhijit Guha Roy, Nassir Navab외 1명|arXiv (Cornell University)|2018. 03. 07.

Advanced Neural Network Applications인용 수 7

한 줄 요약

이 논문은 뇌 및 전신 MRI/CT 분할 작업에서 U-Net, SD-Net, DenseNet 아키텍처에 대해 공간적 및 채널적 압축 및 자극 모듈을 도입하여 완전 컨volution 네트워크(F-CNNs)를 위한 의료 영상 분할을 향상시킨다. scSE 블록을 통해 공간적 및 채널적 차원에서 특징 맵을 동시에 재보정함으로써, 최소한의 계산 오버헤드로 인해 뇌 및 전신 MRI/CT 분할 작업에서 일관된 성능 향상을 달성하였으며, 최대 8% 향상된 Dice 점수를 기록하였다.

ABSTRACT

Fully convolutional neural networks (F-CNNs) have set the state-of-the-art in image segmentation for a plethora of applications. Architectural innovations within F-CNNs have mainly focused on improving spatial encoding or network connectivity to aid gradient flow. In this paper, we explore an alternate direction of recalibrating the feature maps adaptively, to boost meaningful features, while suppressing weak ones. We draw inspiration from the recently proposed squeeze & excitation (SE) module for channel recalibration of feature maps for image classification. Towards this end, we introduce three variants of SE modules for image segmentation, (i) squeezing spatially and exciting channel-wise (cSE), (ii) squeezing channel-wise and exciting spatially (sSE) and (iii) concurrent spatial and channel squeeze & excitation (scSE). We effectively incorporate these SE modules within three different state-of-the-art F-CNNs (DenseNet, SD-Net, U-Net) and observe consistent improvement of performance across all architectures, while minimally effecting model complexity. Evaluations are performed on two challenging applications: whole brain segmentation on MRI scans (Multi-Atlas Labelling Challenge Dataset) and organ segmentation on whole body contrast enhanced CT scans (Visceral Dataset).

연구 동기 및 목표

• 의료 영상 분할을 위한 완전 컨볼루션 네트워크(F-CNNs)에서 특징 맵 표현을 향상시키기 위해 특징을 적응적으로 재보정하는 것을 목적으로 한다.
• 기존의 압축 및 자극(SE) 모듈이 채널 기반 재보정에만 집중하여 분할 작업에 대해 덜 효과적이라는 한계를 해결하기 위한 것이다.
• 픽셀 수준의 분할 작업에 더 유용할 것으로 추정되는 공간적 차원에서 특징을 재보정하는 새로운 공간적 압축 및 자극(sSE) 블록을 제안하는 것이다.
• 공동으로 공간적 및 채널적 자극을 수행하는 동시 공간 및 채널 SE(scSE) 블록을 도입하여 특징 선택성을 향상시키는 것이다.
• 이러한 SE 모듈의 효과성을 여러 최신 F-CNN 아키텍처와 두 가지 과도한 의료 영상 응용 분야에서 검증하는 것이다.

제안 방법

• 공간 차원을 압축하여 채널 기반 기술자로 압축한 후, 학습 가능한 자극 가중치를 사용하여 채널을 재보정하는 채널 기반 압축 및 자극(cSE) 블록을 제안한다.
• 채널을 통해 전역 평균 풀링을 수행하여 공간적 주의 맵을 생성하고, 이를 사용해 공간적 특징을 재가중하는 공간적 압축 및 자극(sSE) 블록을 도입한다.
• cSE와 sSE를 별도로 적용하고 요소별로 결합하여 정교화된 특징 맵을 생성하는 동시 공간 및 채널 SE(scSE) 블록을 설계한다.
• F-CNN의 인코더 및 디코더 블록 뒤에 SE 블록을 통합하여 최소한의 아키텍처 수정으로 끝에서 끝까지 학습이 가능하도록 한다.
• scSE 블록 내에서 두 개의 브런치를 사용한다: 하나는 채널 재보정(cSE)을 위한 것이고, 다른 하나는 공간 재보정(sSE)을 위한 것으로, 완전 연결층을 통해 학습 가능한 스케일링을 수행한다.
• U-Net, SD-Net, DenseNet 세 가지 F-CNN 아키텍처에 SE 블록을 통합하여 다양한 네트워크 설계에서의 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 F-CNN에서 채널 기반 재보정 외에 공간적 압축 및 자극이 성능 향상에 기여하는가?
• RQ2 동시 공간 및 채널 재보정(scSE)이 개별 cSE 또는 sSE 모듈보다 더 높은 성능을 내는가?
• RQ3 SE 블록의 통합이 F-CNN의 모델 복잡성 및 추론 효율성에 어떤 영향을 미치는가?
• RQ4 제안된 SE 모듈이 다양한 F-CNN 아키텍처(U-Net, SD-Net, DenseNet)와 의료 영상 응용 분야에서 일반화되는가?
• RQ5 SE 블록으로부터의 성능 향상은 다양한 해부학적 구조에서 통계적으로 유의미하고 일관된가?

주요 결과

• 모든 네트워크 및 데이터셋에서 cSE, sSE, 또는 scSE 블록을 포함함으로써 통계적으로 유의미한 Dice 점수 향상이 이루어졌으며(p ≤ 0.001, Wilcoxon 부호 순위 검정), 유의미한 향상이 확인되었다.
• 공간적 압축 및 자극(sSE) 블록이 채널 기반 cSE 블록보다 뛰어난 성능을 보였으며, 이는 분할 작업에서 공간 정보가 더 중요하다는 것을 확인한다.
• 동시 공간 및 채널 SE(scSE) 블록이 가장 높은 성능을 기록하였으며, 전뇌 분할에서는 기준 모델 대비 4–8%의 상대적 Dice 점수 향상을, 전신 분할에서는 2–3% 향상을 기록하였다.
• 전뇌 분할에서 scSE 블록은 U-Net의 Dice 점수를 0.843 ± 0.062에서 0.862 ± 0.082로 향상시키고, DenseNet의 경우 0.771 ± 0.150에서 0.860 ± 0.062로 향상시켜 도전적인 해부학적 구조에서 뚜렷한 성과를 보였다.
• 정성적 결과에서는 scSE가 작은 구조(예: 왼쪽 편도핵)의 과소분할을 효과적으로 수정하고, 기관(예: 비장)의 과다분할 문제를 해결하여 정위치 정확도 향상이 확인되었다.
• scSE로 인한 성능 향상은 모델 복잡도의 극히 미미한 증가로 이루어져, 의료 영상 분야의 F-CNN에 있어 매우 효율적이고 일반화 가능한 개선 방법임을 입증하였다.