[논문 리뷰] Recalibrating Fully Convolutional Networks with Spatial and Channel 'Squeeze & Excitation' Blocks

Abhijit Guha Roy, Nassir Navab외 1명|arXiv (Cornell University)|2018. 08. 23.

Advanced Neural Network Applications인용 수 13

한 줄 요약

이 논문은 의료 영상 분할을 위한 완전 컬러션 네트워크(F-CNNs)에서 특징 맵을 재보정하기 위해 공간적 및 채널적 '압축 및 자극'(SE) 블록을 도입한다. 공간적 또는 채널별로 특징을 적응적으로 재가중화함으로써, 최소한의 계산 비용으로도 의미 있는 표현을 향상시킨다. 이로 인해 세 가지 벤치마크 데이터셋에서 4-9% 높은 Dice 스코어를 달성하면서 모델 복잡도는 오직 1.5% 증가한다.

ABSTRACT

In a wide range of semantic segmentation tasks, fully convolutional neural networks (F-CNNs) have been successfully leveraged to achieve state-of-the-art performance. Architectural innovations of F-CNNs have mainly been on improving spatial encoding or network connectivity to aid gradient flow. In this article, we aim towards an alternate direction of recalibrating the learned feature maps adaptively; boosting meaningful features while suppressing weak ones. The recalibration is achieved by simple computational blocks that can be easily integrated in F-CNNs architectures. We draw our inspiration from the recently proposed 'squeeze & excitation' (SE) modules for channel recalibration for image classification. Towards this end, we introduce three variants of SE modules for segmentation, (i) squeezing spatially and exciting channel-wise, (ii) squeezing channel-wise and exciting spatially and (iii) joint spatial and channel 'squeeze & excitation'. We effectively incorporate the proposed SE blocks in three state-of-the-art F-CNNs and demonstrate a consistent improvement of segmentation accuracy on three challenging benchmark datasets. Importantly, SE blocks only lead to a minimal increase in model complexity of about 1.5%, while the Dice score increases by 4-9% in the case of U-Net. Hence, we believe that SE blocks can be an integral part of future F-CNN architectures.

연구 동기 및 목표

• 완전 컬러션 네트워크(F-CNNs)에서 공간 인코딩이나 연결성 향상에만 집중하는 것이 아니라, 중간 특징 맵을 재보정함으로써 의미적 분할 성능을 향상시키는 것.
• 특히 미세한 해부학적 분할 작업에 있어, 공간적 및 채널별로 독립적인 특징 재보정에 대한 관심 부족을 해결하는 것.
• 원래 이미지 분류를 위한 목적으로 개발된 압축 및 자극(SE) 모듈의 성공을 의미적 분할 영역으로 확장하기 위해, 공간적 SE(sSE) 및 공간-채널 통합 SE(scSE) 변형을 도입하는 것.
• SE 블록이 다양한 F-CNN 아키텍처와 의료 영상 응용 분야에서 일관되게 성능을 향상시키는 일반적이고 즉각 적용 가능한 구성 요소임을 보여주는 것.

제안 방법

• 채널을 따라 특징 맵을 압축하고 공간적으로 자극하는 새로운 공간적 압축 및 자극(sSE) 블록을 제안하여, 공간적 주의 메커니즘이 중요한 영역에 집중할 수 있도록 한다.
• 공간적 및 채널적 차원을 별도로 재보정한 후 요소별 최댓값(fusion) 연산을 통해 조합하는, 공간 및 채널을 동시에 고려하는 연합 공간-채널 압축 및 자극(scSE) 블록을 도입한다.
• 원래의 채널별 SE(cSE) 블록을 F-CNNs에 적응시키며, 전역 평균 풀링을 활용해 채널별 가중치를 학습하고 특징 맵을 재가중화한다.
• cSE, sSE, scSE 블록을 U-Net, ReLayNet, SD-Net과 같은 세 가지 최신 F-CNN 아키텍처에 통합하여 일관된 성능 향상을 달성한다.
• 공간적 및 채널적 재보정 출력을 조합하기 위해 최댓값 융합 전략을 사용하여, 네트워크가 가장 정보적인 특징 재보정 경로를 동적으로 선택할 수 있도록 한다.
• 자신의 방법을 MRI, CT, OCT 스캔을 각각 사용한 전뇌, 전신, 망막층 분할과 같은 세 가지 도전적인 의료 영상 작업에 대해 검증한다.

실험 결과

연구 질문

• RQ1 압축 및 자극을 통한 공간적 재보정이 채널 전용 재보정보다 F-CNNs에서 분할 정확도를 향상시키는가?
• RQ2 공간적 및 채널적 SE 블록을 함께 통합하면 개별 구성 요소를 초월해 특징 표현을 향상시키는가?
• RQ3 기존의 F-CNN 아키텍처에 SE 블록을 크게 수정하지 않고도 원활하게 통합할 수 있는가?
• RQ4 SE 블록으로부터의 성능 향상은 모델 용량 증가 때문인지, 아니면 더 깊거나 넓은 아키텍처로는 달성할 수 없는 고유한 재보정 동역학 때문인가?
• RQ5 학습 중에 공간적 및 채널적 주의 맵은 어떻게 변화하며, 이는 의료 영상의 해부학적 구조와 일치하는가?

주요 결과

• 제안된 공간적 압축 및 자극(sSE) 블록이 미세한 해부학적 구조에 대해 원래의 채널별 SE(cSE) 블록보다 분할 작업에서 뛰어난 성능을 보였다.
• 공간-채널 연합 SE(scSE) 블록이 가장 높은 성능 향상을 달성했으며, 모델 복잡도가 오직 1.5% 증가한 U-Net 아키텍처에서 Dice 스코어를 9% 향상시켰다.
• MALC 데이터셋에서 scSE 블록을 추가함으로써 Dice 스코어가 0.771에서 0.867로 상승했으며, 복잡도가 33.2% 증가하는 추가 인코더/디코더 블록을 사용한 경우보다 뛰어난 성능을 보였다.
• 더 깊은 층들(sD-4 등)에서 공간 활성화 맵은 학습 중에 동적으로 변화하여 백질과 소뇌와 같은 구조를 점차적으로 강조함으로써 효과적인 공간 주의 학습이 이루어지고 있음을 시사한다.
• sSE 및 scSE 블록은 영상 아티팩트로 인한 불연속적인 예측을 수정하며, 특히 OCT를 이용한 망막 분할에서 scSE가 경계의 명확성을 향상시켜 보여주었다.
• 공간 자극의 동역학을 통해 네트워크가 학습 초반에 해부학적 경계와 구조를 강조하는 것을 학습하며, 에포크가 진행됨에 따라 활성화 패턴이 점차 정교해지는 것으로 나타났다.