[논문 리뷰] Spatially Localized Atlas Network Tiles Enables 3D Whole Brain Segmentation from Limited Data

Yuankai Huo, Zhoubing Xu외 7명|arXiv (Cornell University)|2018. 06. 01.

Advanced Neural Network Applications참고 문헌 12인용 수 8

한 줄 요약

이 논문은 표준 MNI 아틀라스 공간 내에서 하위 영역에 분산된 겹치는 3D 전결합 신경망(UNet 변종)을 사용하여 제한된 수의 수동으로 레이블링된 데이터로부터 정확한 전뇌 세분화를 가능하게 하는 Spatially Localized Atlas Network Tiles(SLANT)를 제안한다. 보조 레이블을 활용한 다중아틀라스 세분화를 통한 사전 훈련과 레이블 융합을 결합함으로써, SLANT는 최신 기준인 DSC(평균 0.776)를 달성하고 기존 MAS의 30시간 이상 소요되던 추론 시간을 약 15분으로 단축시켰다.

ABSTRACT

Whole brain segmentation on a structural magnetic resonance imaging (MRI) is essential in non-invasive investigation for neuroanatomy. Historically, multi-atlas segmentation (MAS) has been regarded as the de facto standard method for whole brain segmentation. Recently, deep neural network approaches have been applied to whole brain segmentation by learning random patches or 2D slices. Yet, few previous efforts have been made on detailed whole brain segmentation using 3D networks due to the following challenges: (1) fitting entire whole brain volume into 3D networks is restricted by the current GPU memory, and (2) the large number of targeting labels (e.g., > 100 labels) with limited number of training 3D volumes (e.g., < 50 scans). In this paper, we propose the spatially localized atlas network tiles (SLANT) method to distribute multiple independent 3D fully convolutional networks to cover overlapped sub-spaces in a standard atlas space. This strategy simplifies the whole brain learning task to localized sub-tasks, which was enabled by combing canonical registration and label fusion techniques with deep learning. To address the second challenge, auxiliary labels on 5111 initially unlabeled scans were created by MAS for pre-training. From empirical validation, the state-of-the-art MAS method achieved mean Dice value of 0.76, 0.71, and 0.68, while the proposed method achieved 0.78, 0.73, and 0.71 on three validation cohorts. Moreover, the computational time reduced from > 30 hours using MAS to ~15 minutes using the proposed method. The source code is available online https://github.com/MASILab/SLANTbrainSeg

연구 동기 및 목표

• GPU 메모리 제약과 높은 레이블 차원성으로 인해 3D 딥 뉴럴 네트워크를 제한된 수의 수동으로 레이블링된 전뇌 MRI 스캔에서 훈련하는 데 도전하는 것.
• 단지 45개의 수동으로 그려진 스캔을 사용하여 100개 이상의 해부학적 구조에 대해 전뇌 세분화 정확도를 향상시키는 것.
• 기존의 다중아틀라스 세분화(MAS) 방식과 비교해 계산 시간을 단축시키는 것. MAS는 스캔당 30시간 이상 소요된다.
• 표준 이미지 처리 기법(정렬, 강도 보정, 레이블 융합)을 딥 러닝과 융합하여 강건하고 공간적으로 일관된 세분화를 달성하는 것.

제안 방법

• 표준 MNI 아틀라스 공간 내에서 겹치는 하위 영역에 분산된 다수의 독립적인 3D U-Net 네트워크(네트워크 타일)를 사용하여 GPU 메모리 제약 내에서 대용량 세분화를 처리한다.
• 각 네트워크 타일은 뇌의 국소화된 영역을 대상으로 133개의 출력 채널을 가진 3D 전결합 신경망을 사용하여 133개의 해부학적 레이블을 예측한다.
• 5,111개의 레이블이 없는 스캔에서 비국소적 공간 STAPLE(NLSS) 다중아틀라스 세분화를 사용하여 보조 레이블을 생성하여 네트워크 타일의 사전 훈련을 수행한다.
• 정렬된 강도 벡터를 기반으로 회귀 기반 방법을 사용하여 이미지 강도 보정을 수행하여 스캔 간 정규화를 도모하고 훈련 안정성을 향상시킨다.
• 추론 후에 겹치는 타일 간 다수결을 통해 레이블 융합을 적용하여 일관된 전뇌 세분화를 생성한다.
• 사전 훈련된 모델이 목표 해부학적 특성에 적응할 수 있도록 45개의 수동으로 레이블링된 스캔에서 미세조정을 수행한다.

실험 결과

연구 질문

• RQ1 다중아틀라스 세분화에서 유도된 보조 레이블을 기반으로 훈련된 국소화된 3D 전결합 신경망이 제한된 수의 수동으로 레이블링된 데이터로도 전뇌 세분화 정확도를 향상시킬 수 있는가?
• RQ2 MNI 공간 내에서 겹치는 하위 영역에 3D 네트워크를 분산 배치함으로써 전역 3D U-Net이나 패치 기반 방법보다 세분화 성능을 향상시킬 수 있는가?
• RQ3 강도 보정 및 표준 정렬 기법이 훈련 데이터가 부족한 상황에서 딥 러닝 기반 세분화 성능을 향상시킬 수 있는가?
• RQ4 기존의 다중아틀라스 세분화 방식과 비교해 본 논문에서 제안한 방법의 계산 효율성(추론 시간 기준)은 어떠한가?
• RQ5 겹치는 네트워크 타일 예측 결과의 레이블 융합이 공간 일관성과 세분화 정확도를 향상시킬 수 있는가?

주요 결과

• SLANT-27 방법은 OASIS 코hort에서 평균 DSC(0.776 ± 0.012)를 달성하여 최신 기준인 MAS 방법(0.760 ± 0.012)을 유의미하게 뛰어넘었다.
• Colin27 코hort에서 SLANT-27는 평균 DSC 0.732를 기록했으며, 최고 성능를 보인 베이스라인(JLF)의 0.646보다 유의미하게 높았고(p-value < 0.05), 통계적으로 유의미한 결과를 보였다.
• SLANT-27 방법은 미세조정을 통해 스캔당 약 15분의 추론 시간으로 단축되었으며, 기존 MAS의 30시간 이상 소요되는 것과 비교해 뚜렷한 성능 향상을 보였다.
• 5,111개의 보조 레이블이 부여된 스캔에서의 사전 훈련은 단지 45개의 수동으로 레이블링된 스캔에서만 훈련하는 것보다 성능 향상을 크게 이끌어냈으며, OASIS 코hort에서 평균 DSC가 0.020 향상되었다.
• 겹치는 타일 간 레이블 융합은 개별 타일의 잘못된 예측을 수정하였다. 그림 2에서 시각적으로 확인된 바, 잘못된 레이블(빨간 화살표)이 최종 출력에서 수정된 바 있다.
• SLANT는 OASIS, Colin27, CANDI 등 다양한 검증 코호트에서 뚜렷한 성능 향상을 보이며 일관된 성능 향상을 보였다.