[논문 리뷰] VoxResNet: Deep Voxelwise Residual Networks for Volumetric Brain Segmentation

Hao Chen, Qi Dou외 2명|arXiv (Cornell University)|2016. 08. 21.

Advanced Neural Network Applications참고 문헌 34인용 수 115

한 줄 요약

VoxResNet은 잔차 학습을 3D로 확장하여 체적 뇌 분할을 수행하고, 다중 모달리티 데이터 및 자동 컨텍스트 정보를 융합하여 성능을 향상시킨다.

ABSTRACT

Recently deep residual learning with residual units for training very deep neural networks advanced the state-of-the-art performance on 2D image recognition tasks, e.g., object detection and segmentation. However, how to fully leverage contextual representations for recognition tasks from volumetric data has not been well studied, especially in the field of medical image computing, where a majority of image modalities are in volumetric format. In this paper we explore the deep residual learning on the task of volumetric brain segmentation. There are at least two main contributions in our work. First, we propose a deep voxelwise residual network, referred as VoxResNet, which borrows the spirit of deep residual learning in 2D image recognition tasks, and is extended into a 3D variant for handling volumetric data. Second, an auto-context version of VoxResNet is proposed by seamlessly integrating the low-level image appearance features, implicit shape information and high-level context together for further improving the volumetric segmentation performance. Extensive experiments on the challenging benchmark of brain segmentation from magnetic resonance (MR) images corroborated the efficacy of our proposed method in dealing with volumetric data. We believe this work unravels the potential of 3D deep learning to advance the recognition performance on volumetric image segmentation.

연구 동기 및 목표

• 3D에서 깊은 잔차 학습을 이용해 견고한 체적 뇌 분할을 추진한다.
• 체적 분할을 위한 심층 보셀별 잔차 네트워크인 VoxResNet을 제안한다.
• 저-, 중-, 고수준의 맥락 정보를 통합하기 위한 auto-context VoxResNet을 도입한다.
• MR 뇌 분할에서 다중 모달리티 데이터 융합의 이점을 시연한다.

제안 방법

• 25개의 체적 컨볼루션 계층과 4개의 디컨볼루션 계층을 갖춘 2D 심층 잔차 네트워크를 3D VoxResNet으로 확장한다.
• 큰 수용영역을 얻기 위해 stride-2 컨볼루션과 함께 작고 3x3x3 커널을 사용한다.
• 안정한 심층 학습을 위해 건너뛰기(skip) 연결이 있는 사후 활성화 잔차 유닛을 포함한다.
• 연결(concatenation) 및 공동 학습으로 다중 모달리티 입력(T1, T1-IR, T2-FLAIR 등)을 통합한다.
• 다중 스케일 컨텍스트를 융합하기 위해 네 개의 보조 분류기(C1–C4)를 사용한 심층 감독을 적용한다.
• 초기 VoxResNet 출력이 2단계 Auto-context VoxResNet을 안내하여 정교화하는 자동-컨텍스트 스키마를 채택한다.
• 정규화와 voxel-와이즈 교차 엔트로피를 결합한 손실 함수로 학습하며, 가중치를 둔 보조 손실을 포함한다.

실험 결과

연구 질문

• RQ1 3D 심층 잔차 네트워크(VoxResNet)가 MR 영상에서 체적 뇌 분할을 효과적으로 학습할 수 있는가?
• RQ2 3D 맥락에서 다중 모달리티 데이터 융합이 분할 정확도를 향상시키는가?
• RQ3 자동-컨텍스트 정보를 통합하는 것이 분할 성능을 더 향상시키는가?
• RQ4 3D 체적 분할 정확도에 대한 심층 감독의 실증적 영향은 무엇인가?

주요 결과

• 다중 모달리티 입력을 갖춘 VoxResNet은 뇌 조직 분할에서 단일 모달리티 기반 기준선보다 성능이 우수하다.
• Auto-context 통합은 Dice 계수(DC)를 추가로 향상시키고 분할 오류를 감소시킨다.
• All 모달리티 설정은 조직(GM, WM, CSF) 전반에서 높은 DC 값을 달성하고 Hausdorff 거리 및 절대 체적 차이에서도 경쟁력 있다.
• Auto-context VoxResNet은 VoxResNet 단독보다 추가 이득을 제공합니다.
• MRBrainS 벤치마크에서 제안한 방법은 상위 엔트리 중 하나로 평가되어 체적 뇌 분할 성능이 강함을 보여준다.