[논문 리뷰] The Domain Shift Problem of Medical Image Segmentation and Vendor-Adaptation by Unet-GAN

Wenjun Yan, Yuanyuan Wang외 5명|arXiv (Cornell University)|2019. 10. 30.

Advanced Neural Network Applications참고 문헌 11인용 수 4

한 줄 요약

이 논문은 비정렬된 GAN을 활용하여 서로 다른 MRI 스캐너 제조사(Philips, Siemens, GE) 간의 특징 분포를 정렬함으로써, 애너테이션을 요구하지 않고도 다양한 제조사 간의 의료 영상 분할 도메인 간 차이를 보완하는 도메인 적응 프레임워크인 Unet-GAN을 제안한다. 이 방법은 특징 수준의 적응을 가능하게 하여 도메인 간 성능을 향상시키며, 최소한의 재학습으로 다중 제조사 심장 씨네 MRI 분할에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Convolutional neural network (CNN), in particular the Unet, is a powerful method for medical image segmentation. To date Unet has demonstrated state-of-art performance in many complex medical image segmentation tasks, especially under the condition when the training and testing data share the same distribution (i.e. come from the same source domain). However, in clinical practice, medical images are acquired from different vendors and centers. The performance of a U-Net trained from a particular source domain, when transferred to a different target domain (e.g. different vendor, acquisition parameter), can drop unexpectedly. Collecting a large amount of annotation from each new domain to retrain the U-Net is expensive, tedious, and practically impossible. In this work, we proposed a generic framework to address this problem, consisting of (1) an unpaired generative adversarial network (GAN) for vendor-adaptation, and (2) a Unet for object segmentation. In the proposed Unet-GAN architecture, GAN learns from Unet at the feature level that is segmentation-specific. We used cardiac cine MRI as the example, with three major vendors (Philips, Siemens, and GE) as three domains, while the methodology can be extended to medical images segmentation in general. The proposed method showed significant improvement of the segmentation results across vendors. The proposed Unet-GAN provides an annotation-free solution to the cross-vendor medical image segmentation problem, potentially extending a trained deep learning model to multi-center and multi-vendor use in real clinical scenario.

연구 동기 및 목표

• 한 제조사의 데이터로 학습된 모델이 다른 제조사의 데이터에 적용될 때 발생하는 도메인 간 차이 문제를 해결하기 위해.
• 대상 도메인 데이터의 수동 애너테이션 없이도 서로 다른 MRI 스캐너 제조사 간의 전이 학습을 가능하게 하는 방법을 개발하기 위해.
• 통합된 딥러닝 프레임워크를 사용하여 Philips, Siemens, GE 등 다양한 제조사의 심장 씨네 MRI에서 분할 성능을 향상시키기 위해.
• 다중 센터, 다중 제조사 임상 환경에서 적용 가능한 일반적이고 확장 가능한 솔루션을 만들기 위해.

제안 방법

• 소스 도메인과 타겟 도메인의 특징 분포를 특징 수준에서 정렬하기 위해 GAN 기반의 도메인 적응 모듈을 도입한다.
• GAN의 생성자는 적대적 손실과 사이클 일致성 손실을 사용하여 타겟 도메인의 특징을 소스 도메인의 특징과 유사하게 변환하도록 훈련된다.
• Unet은 GAN과 함께 공동으로 훈련되며, GAN이 특징 수준에서 피드백을 제공함으로써 분할의 강건성을 향상시킨다.
• 프레임워크는 서로 다른 제조사 간의 비정렬된 데이터를 사용하여, 도메인 간 쌍화된 이미지가 필요 없도록 한다.
• Unet의 특징 수준에서의 감독을 활용하여 GAN의 적응 과정을 유도함으로써, 분할에 관련된 적응이 이루어지도록 한다.
• 전체 아키텍처는 엔드 투 엔드로 훈련되며, GAN은 도메인 불변 표현을 학습하여 후속 분할 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 한 MRI 제조사의 데이터로 학습된 딥러닝 모델이 재학습 없이 다른 제조사의 데이터로 효과적으로 일반화될 수 있는가?
• RQ2 대상 데이터에 애너테이션이 없는 조건에서 서로 다른 의료 영상 제조사 간의 도메인 간 차이를 어떻게 완화할 수 있는가?
• RQ3 GAN 기반의 특징 수준 적응 메커니즘이 다양한 MRI 스캐너 제조사 간의 분할 성능을 향상시킬 수 있는가?
• RQ4 Unet과 GAN을 함께 훈련함으로써 심장 씨네 MRI 분할에서 도메인 간 차이가 어느 정도 감소하는가?

주요 결과

• 제안된 Unet-GAN 프레임워크는 기준 U-Net 모델 대비 모든 교차 제조사 설정에서 분할 Dice 스코어를 크게 향상시켰다.
• Philips에서 Siemens 및 GE 스캐너로의 전이 시 평균적으로 5.2%의 절대적인 Dice 스코어 향상을 달성했다.
• 세 제조사 조합 전반에서 안정적인 성능을 보이며 강력한 일반화 능력을 입증했다.
• 대상 도메인에 추가 애너테이션 없이도 다중 제조사 심장 씨네 MRI 분할에서 최신 기술 수준의 성능을 달성했다.