[논문 리뷰] A hybrid deep learning framework for integrated segmentation and registration: evaluation on longitudinal white matter tract changes

Bo Li, Wiro J. Niessen외 5명|arXiv (Cornell University)|2019. 08. 26.

Advanced Neuroimaging Techniques and Applications참고 문헌 12인용 수 6

한 줄 요약

이 논문은 대규모 확산 MRI 데이터셋(N=8045건, 3249명의 개인에서 수집)에서 종단적 백질 섬유 분석의 정확도, 일관성 및 재현 가능성을 크게 향상시키기 위해 단일 엔드 투 엔드 CNN 내에서 분할과 탄성 변형 정렬을 동시에 최적화하는 하이브리드 딥 러닝 프레임워크를 제안한다. 이 방법은 다단계 파ip라인보다 뛰어난 성능을 보이며, 순서 수준으로 더 빠르게 작동하여 시간에 따른 뇌 미세구조 변화의 견고한 정량화를 가능하게 한다.

ABSTRACT

To accurately analyze changes of anatomical structures in longitudinal imaging studies, consistent segmentation across multiple time-points is required. Existing solutions often involve independent registration and segmentation components. Registration between time-points is used either as a prior for segmentation in a subsequent time point or to perform segmentation in a common space. In this work, we propose a novel hybrid convolutional neural network (CNN) that integrates segmentation and registration into a single procedure. We hypothesize that the joint optimization leads to increased performance on both tasks. The hybrid CNN is trained by minimizing an integrated loss function composed of four different terms, measuring segmentation accuracy, similarity between registered images, deformation field smoothness, and segmentation consistency. We applied this method to the segmentation of white matter tracts, describing functionally grouped axonal fibers, using N=8045 longitudinal brain MRI data of 3249 individuals. The proposed method was compared with two multistage pipelines using two existing segmentation methods combined with a conventional deformable registration algorithm. In addition, we assessed the added value of the joint optimization for segmentation and registration separately. The hybrid CNN yielded significantly higher accuracy, consistency and reproducibility of segmentation than the multistage pipelines, and was orders of magnitude faster. Therefore, we expect it can serve as a novel tool to support clinical and epidemiological analyses on understanding microstructural brain changes over time.

연구 동기 및 목표

• 뇌 MRI 연구에서 종단적 시간점 간 일관되지 않은 분할 문제를 해결하기 위해.
• 정렬과 분할을 별개의 순차적 단계로 다루는 다단계 파이프라인의 한계를 극복하기 위해.
• 성능 향상을 위해 분할과 정렬을 동시에 최적화하는 엔드 투 엔드 딥 러닝 프레임워크를 개발하기 위해.
• 백질 섬유 분할을 위한 대규모 종단적 확산 MRI 데이터셋에서 방법을 평가하기 위해.
• 분할 및 정렬 작업에 대한 공동 최적화의 추가 가치를 평가하기 위해.

제안 방법

• 프레임워크는 분할과 탄성 변형 정렬을 단일 하이브리드 CNN에 통합하여, 통합 손실 함수를 통해 두 작업을 동시에 최적화한다.
• 손실 함수는 네 가지 항목을 포함한다: 분할 정확도(Dice 계수), 정렬 후 이미지 유사도, 변형 장(field)의 매끄러움, 시간점 간 분할 일관성.
• 네트워크 아키텍처는 두 작업에 공통 파라미터를 사용하며, 공통 인코더와 분할 및 변형 예측에 특화된 태스크별 헤드를 갖춘다.
• 정렬은 공통 변형 네트워크 $\mathcal{G}_{\boldsymbol{\Phi}}$를 사용하여 원본 및 대상 이미지로부터 변형 장을 예측함.
• 8045건의 종단적 스캔으로 구성된 대규모 데이터셋에서 Adam 옵timizer를 사용하여 학습률 $10^{-4}$로 엔드 투 엔드로 학습된다.
• 성능 평가는 FA 측정치의 Dice 계수(DC), Cohen’s kappa ($\kappa$), 스캔-재스캔 오차 ($\epsilon$)를 사용하여 평가된다.

실험 결과

연구 질문

• RQ1 단일 딥 러닝 프레임워크 내에서 분할과 정렬을 공동 최적화하는 것이 다단계 파이프라인에 비해 분할 정확도와 일관성을 향상시키는가?
• RQ2 독립적인 정렬 방법에 비해 하이브리드 프레임워크를 단독으로 사용할 경우 정렬 정확도가 향상되는가?
• RQ3 공동 최적화가 단독 분할 네트워크에 비해 분할 성능 향상에 얼마나 기여하는가?
• RQ4 FA 측정치의 시간점 간 재현 가능성 측면에서 제안된 방법의 성능은 어떠한가?
• RQ5 하이브리드 모델은 분할 및 정렬 품질을 유지하거나 향상시키면서도 더 빠른 추론을 달성할 수 있는가?

주요 결과

• 하이브리드 방법은 분할 정확도에서 Dice 계수 0.70 ± 0.07을 기록하여 다단계 파이프라인(0.67 ± 0.08, p < 0.01)보다 유의미하게 뛰어났다.
• 변환된 분할과 대상 분할 간 Dice로 측정한 분할 일관성은 0.73 ± 0.11을 기록하여 다단계 방법(0.70 ± 0.06, p < 0.01)보다 유의미하게 높았다.
• FA 측정치의 스캔-재스캔 오차는 2.3%로 감소하여 문헌 기준치(11%)와 맞춤형 종단적 방법(5%)을 모두 뛰어넘었다.
• 하이브리드 모델의 정렬 구성 요소는 기준 분할에 대해 Dice 스코어 0.55 ± 0.11을 기록하여 독립적 RegNet(0.53 ± 0.10, p < 0.01)보다 유의미하게 뛰어났다.
• 하이브리드 모델의 분할 구성 요소는 단독 SegNet(0.69 ± 0.08, p < 0.01)보다 높은 Dice 스코어 0.70 ± 0.07을 기록했다.
• 하이브리드 프레임워크는 다단계 파이프라인보다 순서 수준으로 더 빠르게 작동하여 뇌 미세구조 변화의 효율적 종단적 분석을 가능하게 하였다.