[논문 리뷰] DualNorm-UNet: Incorporating Global and Local Statistics for Robust Medical Image Segmentation.

Junfei Xiao, Lequan Yu외 3명|arXiv (Cornell University)|2021. 03. 29.

Advanced Neural Network Applications참고 문헌 32인용 수 9

한 줄 요약

이 논문은 전이된 의미 마스크를 통해 전역 배치 수준 통계와 국소적 클래스별 영역 통계를 학습 가능한 방식으로 통합하는 새로운 정규화 방법인 DualNorm-UNet을 제안한다. 이는 의미 클래스별로 활성화를 적응적으로 조절함으로써 특징의 구분 능력과 도메인 일반화 능력을 향상시켜 다양한 의료 영상 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Batch Normalization (BN) is one of the key components for accelerating network training, and has been widely adopted in the medical image analysis field. However, BN only calculates the global statistics at the batch level, and applies the same affine transformation uniformly across all spatial coordinates, which would suppress the image contrast of different semantic structures. In this paper, we propose to incorporate the semantic class information into normalization layers, so that the activations corresponding to different regions (i.e., classes) can be modulated differently. We thus develop a novel DualNorm-UNet, to concurrently incorporate both global image-level statistics and local region-wise statistics for network normalization. Specifically, the local statistics are integrated by adaptively modulating the activations along different class regions via the learned semantic masks in the normalization layer. Compared with existing methods, our approach exploits semantic knowledge at normalization and yields more discriminative features for robust segmentation results. More importantly, our network demonstrates superior abilities in capturing domain-invariant information from multiple domains (institutions) of medical data. Extensive experiments show that our proposed DualNorm-UNet consistently improves the performance on various segmentation tasks, even in the face of more complex and variable data distributions. Code is available at this https URL.

연구 동기 및 목표

• 의료 영상에서 다양한 의미적 구조 간의 대비를 억제하는 배치 정규화의 한계를 해결하기 위해.
• 정규화 레이어에 의미 클래스 정보를 통합하여 특징의 구분 능력을 향상시키기 위해.
• 다양한 데이터 분포를 가진 다수의 기관에서의 데이터에 대해 모델의 강건성을 향상시키기 위해.
• 국소 영역 통계에 적응하는 정규화 메커니즘을 개발하면서도 전역 배치 수준 통계를 유지하기 위해.
• 복잡하고 변동성이 큰 데이터 분포 하에서도 뛰어난 분할 성능를 달성하기 위해.

제안 방법

• 학습된 의미 마스크에서 유도된 국소 영역 통계와 전역 배치 통계를 결합하는 DualNorm이라는 정규화 레이어를 도입한다.
• 예측된 의미 마스크에 기반한 활성화의 적응적 조절을 통해 각 클래스 영역에 대해 다른 정규화를 적용한다.
• 공간적 맥락과 분할 정확도를 유지하기 위해 이중 통계를 UNet 아키텍처에 통합한다.
• 클래스 인식 통계를 활용해 특징 맵을 조절함으로써 다양한 해부학적 구조에 대한 표현 학습을 향상시킨다.
• 국소화된 정규화를 위한 의미 클래스에 해당하는 공간 영역을 예측하는 학습 가능한 마스크 헤드를 활용한다.
• 정규화를 네트워크의 잔여 블록에 직접 통합함으로써 계산 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 정규화 레이어에 의미 클래스 정보를 통합하면 의료 영상 분할에서 특징의 구분 능력이 향상되는가?
• RQ2 정규화에서 전역 통계와 국소 통계를 조합하면 다양한 의료 영상 도메인 간의 모델 일반화에 어떤 영향을 미치는가?
• RQ3 제안된 방법은 복잡한 데이터 분포 하에서 표준 배치 정규화 및 기타 정규화 변종보다 우수한 성능을 보이는가?
• RQ4 다양한 데이터 분포를 가진 다수의 기관에서의 데이터를 기반으로 훈련했을 때 모델이 얼마나 강건성을 유지하는가?
• RQ5 국소 영역 통계는 다양한 해부학적 구조에 대해 대비 유지에 기여하는가?

주요 결과

• DualNorm-UNet은 복잡하고 변동성이 큰 데이터 분포 하에서도 여러 의료 영상 분할 벤치마크에서 최신 기술 수준의 성능를 달성한다.
• 의미 인식 정규화를 통해 다양한 의미적 구조 간의 대비를 유지함으로써 분할 정확도가 크게 향상된다.
• 국소 영역 통계의 통합은 표준 배치 정규화에 비해 더 구분 능력 있는 특징 표현을 이끌어낸다.
• 모델은 다수의 기관에서 다양한 데이터 분포를 가진 데이터에 대해 뛰어난 도메인 일반화 능력을 보이며 높은 성능를 유지한다.
• 광범위한 추상화 연구를 통해 전역 및 국소 통계가 성능 향상에 각각 독립적으로 기여한다는 것이 확인된다.
• 제안된 접근법은 예측되지 않은 도메인으로도 잘 일반화되어 분포 이탈에 대해 강력한 강건성을 보임을 시사한다.