[논문 리뷰] Concurrent Spatial and Channel Squeeze & Excitation in Fully Convolutional Networks

Abhijit Guha Roy, Nassir Navab외 1명|arXiv (Cornell University)|2018. 03. 07.

Advanced Neural Network Applications참고 문헌 6인용 수 158

한 줄 요약

이 논문은 의료 영상 분할을 위한 완전 컨volution 네트워크(F-CNNs)에서 특징 재보정을 향상시키기 위해 동시 공간 및 채널 압축 및 자극 모듈(scSE)을 제안한다. 공간 및 채널 차원을 별도로 압축하고 자극함으로써 scSE 블록은 뇌 분할에서 4–8%, 전신 CT 분할에서 2–3%의 성능 향상을 이끌어내며, 계산 비용은 최소한으로 유지된다.

ABSTRACT

Fully convolutional neural networks (F-CNNs) have set the state-of-the-art in image segmentation for a plethora of applications. Architectural innovations within F-CNNs have mainly focused on improving spatial encoding or network connectivity to aid gradient flow. In this paper, we explore an alternate direction of recalibrating the feature maps adaptively, to boost meaningful features, while suppressing weak ones. We draw inspiration from the recently proposed squeeze & excitation (SE) module for channel recalibration of feature maps for image classification. Towards this end, we introduce three variants of SE modules for image segmentation, (i) squeezing spatially and exciting channel-wise (cSE), (ii) squeezing channel-wise and exciting spatially (sSE) and (iii) concurrent spatial and channel squeeze & excitation (scSE). We effectively incorporate these SE modules within three different state-of-the-art F-CNNs (DenseNet, SD-Net, U-Net) and observe consistent improvement of performance across all architectures, while minimally effecting model complexity. Evaluations are performed on two challenging applications: whole brain segmentation on MRI scans (Multi-Atlas Labelling Challenge Dataset) and organ segmentation on whole body contrast enhanced CT scans (Visceral Dataset).

연구 동기 및 목표

• 의료 영상 분할을 위한 완전 컨볼루션 네트워크(F-CNNs)에서 특징맵 재보정을 향상시키기 위해.
• 분할 작업에서 공간 기반 자극이 채널 기반 자극보다 더 효과적인지 조사하기 위해.
• 세 가지 SE 블록 변형을 제안하고 평가하기 위해: cSE(채널 기반), sSE(공간 기반), scSE(동시 공간 및 채널 자극).
• SE 모듈이 여러 최신 F-CNN 아키텍처(DenseNet, SD-Net, U-Net)에 걸쳐 일반화 가능한지 입증하기 위해.
• 두 가지 도전적인 의료 영상 응용 분야인 전뇌 및 전신 분할에서 성능 향상의 타당성을 검증하기 위해.

제안 방법

• 세 가지 SE 블록 변형을 제안: cSE(공간 압축, 채널 자극), sSE(채널 압축, 공간 자극), scSE(동시 공간 및 채널 재보정).
• F-CNN의 모든 인코더 및 디코더 블록 뒤에 SE 블록을 통합하며, 공간 압축에는 전역 평균 풀링을, 채널 기반 가중치에는 완전 연결층을 사용한다.
• 시그모이드 활성화를 통한 학습 가능한 게이팅 메커니즘을 활용하여 재보정된 채널 및 공간 기반 기술자에 기반해 특징맵을 동적으로 재가중한다.
• 원래 특징맵을 유지하면서 재보정을 적용하기 위해 잔차 연결 유사 구조를 사용한다.
• scSE 블록은 공간 및 채널 재보정을 별도로 계산하고 원소 단위 덧셈을 통해 조합한다.
• MRI 및 CT 데이터셋에서 검증 손실 수렴 기반 조기 정지 기법을 사용한 확률적 경사 하강법으로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 F-CNN에서 분할 작업에 있어서 공간 기반 자극이 채널 기반 자극보다 성능이 뛰어나지 않는가?
• RQ2 동시 공간 및 채널 재보정(scSE)이 개별 모듈을 초월해 분할 성능을 추가로 향상시킬 수 있는가?
• RQ3 SE 블록 아키텍처는 U-Net, SD-Net, DenseNet과 같은 다양한 F-CNN 아키텍처에 일반화 가능한가?
• RQ4 SE 블록 통합이 다양한 의료 영상 작업에서 일관된 성능 향상을 이끌어내는가?
• RQ5 SE 블록은 모델 복잡도와 추론 효율성에 어떤 영향을 미치는가?

주요 결과

• scSE 블록이 가장 높은 성능을 기록하여, 전뇌 분할에서 기준 네트워크 대비 평균 Dice 스코어를 4–8% 향상시키고, 전신 CT 분할에서는 2–3% 향상시켰다.
• 모든 실험에서 sSE 블록이 cSE 블록을 능가하여, 분할 작업에서 공간 자극이 더 정보가 많다는 것을 확인했다.
• MALC 데이터셋에서 scSE를 적용한 DenseNet은 평균 Dice 스코어 0.882 ± 0.063을 기록하여 기준 DenseNet(0.842 ± 0.058)을 뚜렷이 능가했다.
• Visceral 데이터셋에서 scSE가 강화된 U-Net은 Dice 스코어 0.881 ± 0.082를 기록하여 기준 U-Net(0.857 ± 0.106) 대비 2.4% 상대적 향상을 이뤘다.
• 정성적 결과에서는 scSE가 왼쪽 편도와 비장과 같은 작은 어려운 구조의 분할을 향상시켜, 과소 및 과다 분할 오류를 줄였다.
• 모델 복잡도 증가가 거의 없이 성능 향상가능성을 확보하여, SE 블록 통합의 효율성을 입증했다.