[논문 리뷰] Simultaneous lesion and neuroanatomy segmentation in Multiple Sclerosis using deep neural networks

Richard McKinley, Rik Wepfer외 11명|arXiv (Cornell University)|2019. 01. 22.

Multiple Sclerosis Research Studies참고 문헌 48인용 수 12

한 줄 요약

이 연구는 다중 대비 MRI에서 뇌 구조와 다발성 경화증 병변을 동시에 분할하는 데 3D에서 2D로의 컨volution 신경망(DeepSCAN)을 사용하는 딥러닝 프레임워크를 제안한다. 이 방법은 병변 검출에서 인간 평가자 수준의 일치도를 달성하고 기존 방법을 초월하며, 추가적인 해부학적 레이블을 사용해 훈련할 경우 외부 센터 데이터에 대해 강력한 일반화 성능을 보여준다.

ABSTRACT

Segmentation of white matter lesions and deep grey matter structures is an important task in the quantification of magnetic resonance imaging in multiple sclerosis. In this paper we explore segmentation solutions based on convolutional neural networks (CNNs) for providing fast, reliable segmentations of lesions and grey-matter structures in multi-modal MR imaging, and the performance of these methods when applied to out-of-centre data. We trained two state-of-the-art fully convolutional CNN architectures on the 2016 MSSEG training dataset, which was annotated by seven independent human raters: a reference implementation of a 3D Unet, and a more recently proposed 3D-to-2D architecture (DeepSCAN). We then retrained those methods on a larger dataset from a single centre, with and without labels for other brain structures. We quantified changes in performance owing to dataset shift, and changes in performance by adding the additional brain-structure labels. We also compared performance with freely available reference methods. Both fully-convolutional CNN methods substantially outperform other approaches in the literature when trained and evaluated in cross-validation on the MSSEG dataset, showing agreement with human raters in the range of human inter-rater variability. Both architectures showed drops in performance when trained on single-centre data and tested on the MSSEG dataset. When trained with the addition of weak anatomical labels derived from Freesurfer, the performance of the 3D Unet degraded, while the performance of the DeepSCAN net improved. Overall, the DeepSCAN network predicting both lesion and anatomical labels was the best-performing network examined.

연구 동기 및 목표

• 다중 대비 MRI에서 다발성 경화증 병변과 건강한 뇌 구조를 동시에 분할하는 딥러닝 모델을 개발한다.
• 이식성과 다양한 스캐너 및 센터 간의 내구성을 평가하기 위해 외부 센터 데이터에서의 성능을 평가한다.
• 약한 해부학적 레이블을 추가하면 병변 분할 성능이 향상되는지 조사한다.
• 제안된 방법을 자유롭게 이용 가능한 도구들과 최신 기술 모델과 비교하여 병변 검출 및 분할 성능을 평가한다.
• 데이터셋 이동과 레이블 품질이 모델 일반화에 미치는 영향을 평가한다.

제안 방법

• 2016년 MSSEG 훈련 데이터셋의 7명의 인간 평가자 레이블을 기반으로 3D 완전 컨volution 신경망 아키텍처인 3D U-Net과 DeepSCAN을 훈련시켰다.
• 단일 센터 데이터셋을 더 크게 확장하여, 심부 회색질 구조의 추가 레이블 유무에 따라 모델을 재훈련했다.
• 일반화 성능 향상을 위해 Freesurfer에서 유도한 약한 해부학적 레이블을 사용해 훈련 데이터를 보강했다.
• T1, FLAIR, T2 가중치 MRI 시퀀스로부터 병변 및 신경해부학적 분할 마스크를 동시에 예측하기 위해 다중 작업 학습을 적용했다.
• Dice 계수, 병변 검출을 위한 F1 스코어, 공준 기준 진짜값과의 오버랩 메트릭을 사용해 성능을 평가했다.
• 이식성 평가를 위해 Insel32 및 MSSEG 데이터셋에서 교차 검증과 외부 테스트를 실시했다.

실험 결과

연구 질문

• RQ1 단일 딥러닝 모델이 다발성 경화증 병변과 뇌 구조를 고정밀도로 동시에 분할할 수 있는가?
• RQ2 단일 센터 데이터에서 훈련한 모델이 다중 센터 데이터에서 테스트되었을 때 성능이 어떻게 저하되는가?
• RQ3 Freesurfer에서 유도한 약한 해부학적 레이블을 통합하면 병변 분할 성능이 향상되는가?
• RQ4 LST와 같은 자유로운 도구와 비교했을 때 제안된 방법의 검출 및 분할 정확도는 어떻게 되는가?
• RQ5 병변 검출에서의 가짜 양성과 가짜 음성은 모델의 실패 때문이 아니라 레이블 오류 때문인가?

주요 결과

• DeepSCAN 네트워크는 테스트된 모든 모델 중에서 가장 높은 성능을 보였으며, MSSEG 데이터셋에서 Dice 계수 0.59를 기록하여 인간 평가자 간 변동성에 근접했다.
• 모든 컨volution 신경망 아키텍처가 MSSEG 데이터셋에서의 교차 검증에서 기존 방법을 초월했으며, 인간 평가자 간 일치도 수준의 일致를 보였다.
• 단일 센터 데이터에서 훈련한 모델이 MSSEG 데이터셋에서 테스트되었을 때 성능이 크게 저하되어 도메인 이동 효과가 있음을 시사했다.
• Freesurfer에서 유도한 해부학적 레이블을 추가하면 DeepSCAN의 성능은 향상되었지만, 3D U-Net의 성능은 악화되어 아키텍처가 보조 지도에 민감함을 보였다.
• DeepSCAN이 놓친 777개 병변 중 75%인 579개는 신경 radiologist가 인간 평가자에 의한 잘못된 레이블링으로 판단했다. 이는 많은 '가짜 양성'이 병변이 아닌 이상치 또는 정상 구조임을 시사한다.
• 372개의 가짜 양성 병변 중 137개(37%)는 평가자들이 놓친 진짜 병변이었으며, 이는 F1 스코어가 Dice 계수만으로 평가하는 것보다 더 유의미한 메트릭임을 보여준다.