[논문 리뷰] Sub-cortical brain structure segmentation using F-CNN's

Mahsa Shakeri, Stavros Tsogkas외 5명|SPIRE - Sciences Po Institutional REpository|2016. 02. 05.

Advanced Neural Network Applications참고 문헌 1인용 수 4

한 줄 요약

이 논문은 MRI 스캔에서 고유성 뇌 구조물의 정확한 2차원 슬라이스 기반 분할을 위해 완전 컨volution 신경망(F-CNN)과 마르코프 무작위 필드(MRF) 추론을 조합한 방법을 제안한다. CNN 출력 확률을 MRF의 단항 잠재력으로 간주하고 알파 확장(α-expansion)을 적용하여 공간적으로 일관된 추론을 수행함으로써, 두 데이터셋에서 최신 기술 수준(SOTA)의 Dice 점수를 달성하였으며, 랜덤 포레스트 기반 사전 지식과 기존 도구인 Freesurfer 및 FSL-FIRST를 모두 능가하였다.

ABSTRACT

In this paper we propose a deep learning approach for segmenting sub-cortical structures of the human brain in Magnetic Resonance (MR) image data. We draw inspiration from a state-of-the-art Fully-Convolutional Neural Network (F-CNN) architecture for semantic segmentation of objects in natural images, and adapt it to our task. Unlike previous CNN-based methods that operate on image patches, our model is applied on a full blown 2D image, without any alignment or registration steps at testing time. We further improve segmentation results by interpreting the CNN output as potentials of a Markov Random Field (MRF), whose topology corresponds to a volumetric grid. Alpha-expansion is used to perform approximate inference imposing spatial volumetric homogeneity to the CNN priors. We compare the performance of the proposed pipeline with a similar system using Random Forest-based priors, as well as state-of-art segmentation algorithms, and show promising results on two different brain MRI datasets.

연구 동기 및 목표

• MRI 스캔에서 고유성 뇌 구조물의 정확한 분할을 위한 딥 러닝 프레임워크를 개발하는 것.
• 정렬 또는 정합이 필요 없는 전체 2차원 MRI 슬라이스를 처리함으로써 패치 기반 CNN의 한계를 극복하는 것.
• 3D 마르코프 무작위 필드(MRF)에서 CNN 출력을 잠재력으로 모델링하여 공간 일관성과 분할 정확도를 향상시키는 것.
• 제안된 방법을 랜덤 포레스트 기반 사전 지식과 최신 기술 수준의 분할 도구인 Freesurfer 및 FSL-FIRST와 비교하는 것.
• 작은 데이터셋, 저해상도 특징 맵, 대칭 구조 혼동 등의 과제를 해결하는 것.

제안 방법

• 5개의 컨volution-맥스 풀링 쌍과 확장 컨볼루션을 사용하여, 고해상도 특징 맵을 유지하면서 2D MRI 슬라이스에서부터 완전 컨volution 신경망(F-CNN)을 새로 학습한다.
• 확장 컨볼루션을 통해 수신 영역을 확장하여 전체 2D 슬라이스를 처리함으로써 4배의 다운샘플링 요소를 달성하고, L개의 클래스에 대해 64×64×L 출력 맵을 생성한다.
• CNN 출력 확률 맵을 3D MRF의 단항 잠재력으로 해석하며, 6-이웃 구조의 격자 구조를 사용하여 공간적 부피 균일성을 모델링한다.
• 다중 레이블 에너지 함수 최적화를 위해 MRF에서 근사 추론으로 알파 확장(α-expansion)을 사용하여, 병렬 볼륨 내에서 매끄럽고 일관된 분할을 보장한다.
• 제한된 훈련 데이터에서 과적합을 방지하기 위해 수평 반전 및 이동(±5, 10, 15, 20 픽셀)을 통한 데이터 증강 기법을 적용한다.
• SGD와 모멘터럼을 사용하여 엔드 투 엔드로 학습하며, 교차 엔트로피 손실 함수와 함께 35 에포크 동안 0.01에서 0.0001으로 감소하는 학습률 스케줄을 적용한다.

실험 결과

연구 질문

• RQ1 2D MRI 슬라이스에서 학습된 완전 컨볼루션 네트워크가 패치 기반 또는 랜덤 포레스트 기반 방법보다 고유성 뇌 구조물의 분할 성능을 향상시킬 수 있는가?
• RQ2 알파 확장 추론을 사용하는 마르코프 무작위 필드(MRF)를 통합함으로써, 부피형 MRI 데이터에서 공간 일관성과 분할 정확도가 향상되는가?
• RQ3 제안된 방법은 Freesurfer 및 FSL-FIRST와 같은 기존 도구와 비교해 Dice 점수와 경계 정확도 측면에서 어떻게 성능을 내는가?
• RQ4 2D 슬라이스 기반 CNN가 축상 또는 coronal 시각에서 대칭 뇌 구조물(예: putamen)을 어떻게 어려워하며, 이를 어떻게 완화할 수 있는가?
• RQ5 2D 슬라이스에서의 학습이 미세 해부적 세부 사항(예: caudate의 얇은 꼬리)을 포착하는 데 얼마나 제한적인가?

주요 결과

• 제안된 F-CNN와 MRF 추론은 IBSR 데이터셋에서 히아람의 평균 Dice 계수 0.87을 달성하여 Freesurfer(0.86)와 FSL-FIRST(0.85)를 모두 능가하였다.
• Caudate에 대해서는 IBSR에서 Dice 점수 0.78을 기록하였으며, Freesurfer의 0.82에 비해 약간 낮아 얇은 꼬리 영역를 포착하는 데 한계가 있음을 시사하였다.
• RE 데이터셋에서 putamen에 대해 0.89의 Dice 점수를 기록하여 Freesurfer(0.74)를 뛰어넘고 FSL-FIRST(0.88)와 동일한 성능을 보였다.
• 랜덤 포레스트 기반 기준선 대비 Hausdorff 거리와 윤곽 평균 거리가 감소하여 경계 정확도 향상을 확인하였다.
• 256×256 이미지의 경우 약 5ms의 시간으로 한 번의 순방향 전파를 수행하여 높은 추론 효율성을 입증하였다.
• 축상 또는 관상 시각에서의 학습은 대칭으로 인한 왼쪽·오른쪽 구조 혼동으로 인해 성능이 열 劣하므로, 3D 인식 사전 지식이 필요함을 시사하였다.