[논문 리뷰] When Unseen Domain Generalization is Unnecessary? Rethinking Data Augmentation

Ling Zhang, Xiaosong Wang외 8명|arXiv (Cornell University)|2019. 06. 07.

Domain Adaptation and Few-Shot Learning참고 문헌 13인용 수 39

한 줄 요약

논문은 3D 의학 영상 분할을 위한 Deep Stacked Transformations (DST) 증강을 제안하여 보지 못한 도메인에 대한 일반화를 향상시키고, DST가 기존 증강 및 CycleGAN 기반 도메인 적응을 능가하는 것을 보여주며, 대규모 소스 데이터셋과 함께 감독 학습의 최첨단 성능과 대등해질 수 있음을 시사한다.

ABSTRACT

Recent advances in deep learning for medical image segmentation demonstrate expert-level accuracy. However, in clinically realistic environments, such methods have marginal performance due to differences in image domains, including different imaging protocols, device vendors and patient populations. Here we consider the problem of domain generalization, when a model is trained once, and its performance generalizes to unseen domains. Intuitively, within a specific medical imaging modality the domain differences are smaller relative to natural images domain variability. We rethink data augmentation for medical 3D images and propose a deep stacked transformations (DST) approach for domain generalization. Specifically, a series of n stacked transformations are applied to each image in each mini-batch during network training to account for the contribution of domain-specific shifts in medical images. We comprehensively evaluate our method on three tasks: segmentation of whole prostate from 3D MRI, left atrial from 3D MRI, and left ventricle from 3D ultrasound. We demonstrate that when trained on a small source dataset, (i) on average, DST models on unseen datasets degrade only by 11% (Dice score change), compared to the conventional augmentation (degrading 39%) and CycleGAN-based domain adaptation method (degrading 25%); (ii) when evaluation on the same domain, DST is also better albeit only marginally. (iii) When training on large-sized data, DST on unseen domains reaches performance of state-of-the-art fully supervised models. These findings establish a strong benchmark for the study of domain generalization in medical imaging, and can be generalized to the design of robust deep segmentation models for clinical deployment.

연구 동기 및 목표

• 의료 영상에서 프로토콜/벤더/인구 차이로 인한 도메인 일반화의 도전을 제시한다.
• 이미지 공간에서 스택된 변환을 통해 도메인 시프트를 시뮬레이션하는 체계적 증강 방법(DST)을 제안한다.
• 세 가지 3D 분할 태스크에서 DST를 평가하여 보지 못한 도메인 일반화 이득을 정량화한다.
• 더 큰 소스 데이터 세트가 주어졌을 때 DST가 최첨단 성능에 접근하거나 이를 능가한다는 것을 입증한다.

제안 방법

• 각 학습 이미지에 대해 두 개의 하이퍼파라미터(확률 및 크기)를 가진 아홉 개의 스택드 이미지-공간 변환의 시퀀스를 적용한다.
• 등방성 재샘플링과 Dice 손실 최적화를 사용하는 3D 분할 백본 AH-Net을 사용한다.
• 세 가지 태스크(전립선 MRI, 좌심방 MRI, 좌심실 초음파)에서 공개 데이터셋을 통해 보지 못한 도메인으로의 일반화를 평가한다.
• DST를 단일 증강, 상위 네 가지 증강 조합, CycleGAN 기반 도메인 적응과 비교한다.
• 더 큰 데이터 설정에서 독점 465-볼륨 MRI 데이터셋으로 학습하여 DST를 감독 방법과 비교한다.

실험 결과

연구 질문

• RQ1 딥 스택드 트랜스포메이션 증강이 3D 의학 영상 분할의 비감독 도메인 일반화를 향상시키는가?
• RQ2 DST가 보지 못한 도메인에서 기존 증강 및 CycleGAN 도메인 적응과 어떻게 비교되는가?
• RQ3 더 큰 학습 데이터가 주어졌을 때 DST가 최첨단 감독 성능에 접근할 수 있는가?
• RQ4 DST 내 어떤 증강이 MRI 및 초음파 태스크 전반의 일반화에 가장 크게 기여하는가?

주요 결과

• DST는 보지 못한 도메인 일반화를 크게 향상시키며, 보이지 않는 도메인에서 Dice의 평균이 80%로, 기준선 49.8% 및 CycleGAN 63.5%를 상회한다.
• 3D MRI에서 선명화, 대비, 밝기, 강도 잡음은 주요 이득을 주도하고, 공간 변환은 태스크에 따라 다르게 작용한다.
• DST는 개별 증강 및 상위 4개 조합보다 우수하였으며, 포괄적인 증강 세트의 필요성을 시사한다.
• 더 큰 학습 데이터(465 볼륨)로 보지 못한 도메인에서 DST가 상태-오브-아트 감독 방법에 0.8% 이내의 Dice를 달성한다.
• 전립선 X 보지 못한 데이터셋에서 DST는 Dice 91.9%를 달성하여 이 연구에서의 방사선과 의사 간 합의 벤치마크와 일치한다.