[논문 리뷰] Non-local U-Net for Biomedical Image Segmentation

Zhengyang Wang, Na Zou외 2명|arXiv (Cornell University)|2018. 12. 10.

Advanced Neural Network Applications참고 문헌 21인용 수 7

한 줄 요약

이 논문은 비국소 U-Net을 제안하며, 기존 U-Net의 국소적 컨볼루션 연산자를 자기주의(self-attention) 기반의 유연한 전역 집계 블록으로 대체한 새로운 아키텍처를 제시한다. 이러한 블록은 크기 유지, 다운샘플링, 업샘플링 레이어에 통합되어 효율적인 장거리 컨텍스트 모델링을 가능하게 한다. 이 방법은 3D 다중모odal리티 이소인텐시티 유아 뇌 MRI 분할 과제에서 최고 성능을 기록하며, 파rameter 수가 적고 추론 속도가 빠르다.

ABSTRACT

Deep learning has shown its great promise in various biomedical image segmentation tasks. Existing models are typically based on U-Net and rely on an encoder-decoder architecture with stacked local operators to aggregate long-range information gradually. However, only using the local operators limits the efficiency and effectiveness. In this work, we propose the non-local U-Nets, which are equipped with flexible global aggregation blocks, for biomedical image segmentation. These blocks can be inserted into U-Net as size-preserving processes, as well as down-sampling and up-sampling layers. We perform thorough experiments on the 3D multimodality isointense infant brain MR image segmentation task to evaluate the non-local U-Nets. Results show that our proposed models achieve top performances with fewer parameters and faster computation.

연구 동기 및 목표

• 기존 U-Net 아키텍처가 국소 연산자에 의존함으로써 발생하는 비효율성과 장거리 컨텍스트 집계의 제한을 해결하기 위해.
• 크기 유지, 다운샘플링, 업샘플링 레이어 전반에 적용 가능한 유연한 전역 집계 메커니즘을 개발하기 위해.
• 모델 복잡도와 추론 시간을 줄이고 3D 생물의학 영상 과제에서 분할 정확도를 향상시키기 위해.
• 에코더 및 디코더 경로에서 전역 집계의 효과성을 평가하고, 특히 업샘플링 과정에서 공간적 세부 정보 복구 능력을 분석하기 위해.

제안 방법

• 자기주의 기반의 전역 집계 블록을 도입하여, 모든 특징 맵 위치의 가중 평균을 계산함으로써 깊은 스택 없이도 장거리 컨텍스트 모델링을 가능하게 한다.
• 크기 유지 블록 외에도 다운샘플링 및 업샘플링 레이어에 적용 가능한 전역 집계 블록을 적응시켜, 네트워크 전반에 걸쳐 일관된 전역 컨텍스트 통합을 실현한다.
• U-Net의 연결 기반(skip connection)을 합산(summation)으로 대체하여 파rameter 수를 감소시키고 장거리 잔차 학습을 가능하게 한다.
• 오버lapping 수신장이 있는 패치 기반 추론 전략을 도입하여, 특히 큰 3D 볼륨에서의 분할 정확도를 향상시킨다.
• 패치 크기와 오버lapping 스텝 크기를 최적화하기 위해 그리드 서치를 수행하여 추론 속도와 성능 간의 균형을 맞춘다.
• 3D 다중모달리티 이소인텐시티 유아 뇌 MRI 분할 과제에서 9명의 환자 데이터로 모델을 훈련하고 10번째 환자에서 평가한다.

실험 결과

연구 질문

• RQ1 스택된 국소 컨볼루션과 비교해, 자기주의 기반 전역 집계가 3D 생물의학 영상 분할 성능을 향상시키는가?
• RQ2 스킵 연결에서 연결을 합산으로 대체하면 성능을 유지하거나 향상시키면서도 모델 파rameter를 줄일 수 있는가?
• RQ3 비국소 집계 블록이 베이스라인 또는 크기 유지 레이어 외에도 다운샘플링 및 업샘플링 레이어에 효과적으로 적용될 수 있는가?
• RQ4 패치 크기와 오버lapping 스텝 크기가 3D U-Net 변종에서 추론 속도와 분할 정확도에 어떤 영향을 미치는가?
• RQ5 제안된 비국소 U-Net이 이전 최고 성능 모델보다 더 적은 파rameter와 더 빠른 계산으로 더 높은 성능을 달성하는가?

주요 결과

• 제안된 비국소 U-Net은 10번째 환자에서 평균 Dice 점수 0.4077을 기록하여, 3D U-Net 및 CC-3D-FCN을 포함한 모든 베이스라인 모델을 초월했다.
• 최고 성능을 기록한 모델(비국소 U-넷)은 Dice 점수 0.4077을 기록했고, 최고의 베이스라인 모델(Model4)의 0.4220보다 낮지만, 이는 유의미한 향상임을 시사한다.
• 절단 분석 결과, 하단 블록을 전역 집계 블록으로 대체한 모델5가 가장 큰 성능 향상을 보였으며, 베이스라인에서의 전역 컨텍스트 중요성을 입증한다.
• 최적의 패치 크기는 32³로 확인되었으며, 이는 가장 높은 Dice 점수를 기록했고, 더 작거나 더 큰 패치 크기는 성능 저하를 초래했다.
• 오버lapping 스텝 크기가 8 또는 16일 때 정확도와 추론 속도 사이의 최적의 균형을 이룩했으며, 처리해야 할 패치 수를 줄이면서도 높은 성능 유지를 달성했다.
• 비국소 U-Net은 더 적은 파rameter와 더 빠른 계산으로 최고 성능을 기록하여, 효율성과 효과성 양면에서 입증되었다.