[논문 리뷰] SynthSeg: Domain Randomisation for Segmentation of Brain MRI Scans of any Contrast and Resolution

Benjamin Billot, Douglas N. Greve외 6명|arXiv (Cornell University)|2021. 07. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 105인용 수 14

한 줄 요약

SynthSeg는 재훈련 없이도 어떤 대조나 해상도에서도 일반화되는 도메인 랜덤화된 컨volutional 신경망을 제안한다. 완전히 랜덤화된 파rameter를 가진 합성 데이터로 훈련함으로써, 6개의 모odal리티와 10개의 해상도에서 5,500개의 스캔에 대해 최신 기술 수준의 일반화 성능를 달성하며, 지도 학습 기반 CNN, 테스트 시 적응, 베이지안 세그멘테이션보다 뛰어나다.

ABSTRACT

Despite advances in data augmentation and transfer learning, convolutional neural networks (CNNs) have difficulties generalising to unseen target domains. When applied to segmentation of brain MRI scans, CNNs are highly sensitive to changes in resolution and contrast: even within the same MR modality, decreases in performance can be observed across datasets. We introduce SynthSeg, the first segmentation CNN agnostic to brain MRI scans of any contrast and resolution. SynthSeg is trained with synthetic data sampled from a generative model inspired by Bayesian segmentation. Crucially, we adopt a extit{domain randomisation} strategy where we fully randomise the generation parameters to maximise the variability of the training data. Consequently, SynthSeg can segment preprocessed and unpreprocessed real scans of any target domain, without retraining or fine-tuning. Because SynthSeg only requires segmentations to be trained (no images), it can learn from label maps obtained automatically from existing datasets of different populations (e.g., with atrophy and lesions), thus achieving robustness to a wide range of morphological variability. We demonstrate SynthSeg on 5,500 scans of 6 modalities and 10 resolutions, where it exhibits unparalleled generalisation compared to supervised CNNs, test time adaptation, and Bayesian segmentation. The code and trained model are available at this https URL.

연구 동기 및 목표

• 다른 대조와 해상도를 가진 새로운 도메인에 적용했을 때 CNN의 일반화 능력 부족 문제를 해결한다.
• 동일한 MRI 모달리티 내에서도 데이터셋 간 성능 저하가 발생하는 지도 학습 기반 CNN의 한계를 극복한다.
• 대조, 해상도, 전처리 수준과 같은 입력 스캔 특성에 관계없이 무관한 세그멘테이션 모델을 개발한다.
• 실제 이미지 쌍이나 쌍화된 데이터가 필요 없이 레이블 매핑만을 사용하여 훈련을 가능하게 하여 다양한 병리적 변화(예: 위축, 병변)를 포함한 데이터셋의 통합을 가능하게 한다.
• 재튜닝이나 도메인 적응 없이도 광범위한 형태학적 및 영상 변화에 대해 강력한 세그멘테이션 성능를 달성한다.

제안 방법

• 베이지안 기반의 생성 모델에서 유도된 합성 MRI 스캔을 사용하여 세그멘테이션 CNN을 훈련한다.
• 합성 데이터 생성 과정에서 모든 생성 파rameter를 완전히 랜덤화하여 도메인 랜덤화를 적용함으로써 훈련 데이터의 다양성을 극대화한다.
• 실제 이미지 쌍이나 쌍화된 데이터가 필요 없이 레이블 매핑만을 사용하여 훈련한다.
• 훈련 중에 극단적인 변형을 노출시킴으로써 입력 해상도와 대조에 대해 불변성을 확보하도록 모델을 설계한다.
• 생성 수준의 데이터 증강을 통해 합성 데이터 분포를 활용하여 도메인 불변 특징를 암묵적으로 학습한다.
• 재튜닝 없이도 목표 도메인의 전처리된 및 전처리되지 않은 실제 스캔 모두에 일반화되도록 보장한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 재훈련 없이 다양한 뇌 MRI 대조와 해상도에서 강력한 일반화 성능를 달성할 수 있는가?
• RQ2 기본적인 데이터 증강이나 재튜닝과 비교했을 때, 합성 데이터에 대한 도메인 랜덤화가 일반화 성능 향상에 얼마나 기여하는가?
• RQ3 실제 이미지 데이터가 필요 없이 기존 데이터셋의 레이블 매핑만으로도 효과적으로 세그멘테이션 모델을 훈련시킬 수 있는가?
• RQ4 다양한 데이터셋에서 SynthSeg의 성능가 지도 학습 기반 CNN, 테스트 시 적응, 베이지안 세그멘테이션과 비교해 어떻게 되는가?
• RQ5 다양한 레이블 매핑에서 훈련된 모델이 위축이나 병변과 같은 병리적 특징을 가진 스캔에서도 높은 정확도를 유지하는가?

주요 결과

• SynthSeg는 6개의 영상 모달리티와 10개의 해상도를 포함한 5,500개의 뇌 MRI 스캔에서 최신 기술 수준의 일반화 성능를 달성한다.
• 모델은 재튜닝이나 적응 없이도 전처리된 및 전처리되지 않은 실제 스캔 모두에 일반화된다.
• SynthSeg는 도메인 간 세그멘테이션 작업에서 지도 학습 기반 CNN, 테스트 시 적응 방법, 베이지안 세그멘테이션을 모두 능가한다.
• 다양한 합성 데이터에서 학습한 강건성 덕분에 병리학적 형태학적 변화(위축, 병변 포함)가 있는 스캔에서도 높은 정확도를 유지한다.
• 레이블 매핑만으로도 이질적인 데이터셋에서 효과적인 학습이 가능해 병리적 특징을 포함한 데이터셋의 통합이 가능하다.
• 합성 데이터에 대한 도메인 랜덤화가 해상도 및 대조 변화에 대한 모델의 불변성을 크게 향상시켜 뛰어난 제로샷 일반화 성능를 이끌어낸다.