[논문 리뷰] Unsupervised Domain Adaptation via Disentangled Representations: Application to Cross-Modality Liver Segmentation

Junlin Yang, Nicha C. Dvornek외 4명|arXiv (Cornell University)|2019. 07. 31.

Domain Adaptation and Few-Shot Learning참고 문헌 9인용 수 6

한 줄 요약

이 논문은 쌍이 없는 데이터를 이용한 의료 영상 분할에서 비모수적 영역 간 적응을 위한 분리된 표현 프레임워크를 제안한다. 영상은 도메인에 영향을 받지 않는 콘텐츠 공간과 모odal별 특성의 스타일 공간으로 분해되어 다대다 매핑을 가능하게 한다. CT만을 사용한 훈련으로도 MRI 간질 분할에서 0.81의 Dice 유사도 계수를 달성하며, CycleGAN(0.72)을 능가하고, 다단계 MRI 및 공동 도메인 학습에서도 강건성을 보여준다.

ABSTRACT

A deep learning model trained on some labeled data from a certain source domain generally performs poorly on data from different target domains due to domain shifts. Unsupervised domain adaptation methods address this problem by alleviating the domain shift between the labeled source data and the unlabeled target data. In this work, we achieve cross-modality domain adaptation, i.e. between CT and MRI images, via disentangled representations. Compared to learning a one-to-one mapping as the state-of-art CycleGAN, our model recovers a many-to-many mapping between domains to capture the complex cross-domain relations. It preserves semantic feature-level information by finding a shared content space instead of a direct pixelwise style transfer. Domain adaptation is achieved in two steps. First, images from each domain are embedded into two spaces, a shared domain-invariant content space and a domain-specific style space. Next, the representation in the content space is extracted to perform a task. We validated our method on a cross-modality liver segmentation task, to train a liver segmentation model on CT images that also performs well on MRI. Our method achieved Dice Similarity Coefficient (DSC) of 0.81, outperforming a CycleGAN-based method of 0.72. Moreover, our model achieved good generalization to joint-domain learning, in which unpaired data from different modalities are jointly learned to improve the segmentation performance on each individual modality. Lastly, under a multi-modal target domain with significant diversity, our approach exhibited the potential for diverse image generation and remained effective with DSC of 0.74 on multi-phasic MRI while the CycleGAN-based method performed poorly with a DSC of only 0.52.

연구 동기 및 목표

• 쌍이 없는 데이터를 이용해 CT와 MRI 간의 도메인 이동 문제를 해결한다.
• CycleGAN의 일대일 매핑 방식이 가지는 다양성 부족 및 의미적 특징 보존 저하 등의 한계를 극복한다.
• 모달리티에 관계없이 동일한 콘텐츠 공간을 학습함으로써 효과적인 비지도 도메인 적응을 가능하게 하되, 스타일 정보는 분리한다.
• 단일 모델을 통해 쌍이 없는 CT와 MRI 데이터를 동시에 학습함으로써 공동 도메인 학습에 일반화할 수 있도록 한다.
• 다양한 다중 모달 타겟 도메인(예: 다단계 MRI)에서도 강건성을 유지하고 다양한 이미지 생성을 가능하게 한다.

제안 방법

• 모델은 영상 표현을 공통 콘텐츠 공간(해부학적 의미를 유지)과 도메인별 스타일 공간(모달리티 특성 인코딩)으로 분리한다.
• 이중 인코더 아키텍처를 사용한다: 각 모달리티별로 콘텐츠 인코더와 스타일 인코더를 구성하여 영상에서 각각의 콘텐츠 코드와 스타일 코드로 매핑한다.
• 콘텐츠 코드는 모든 도메인 간에 공유되어 도메인에 영향을 받지 않는 특징 학습을 가능하게 하며, 스타일 코드는 모달리티에 따라 특화되어 다양한 스타일 전이에 활용할 수 있다.
• 재구성 손실을 통해 콘텐츠 코드와 스타일 코드가 원본 영상을 정확히 재구성할 수 있도록 하여 영상 품질을 유지한다.
• 사이클 일관성 손실 대신 다수의 매핑을 지원하는 분리 기반 목적함수를 도입하여 표현의 다양성을 향상시킨다.
• 분할 네트워크는 소스 도메인(CT)의 콘텐츠 전용 표현에서 훈련되며, 추론은 타겟 도메인(MRI)의 콘텐츠 코드에 적용된다.

실험 결과

연구 질문

• RQ1 의료 영상 분할에서 일대일 매핑 방식보다 분리된 표현이 더 효과적인 교차 모달 도메인 적응을 가능하게 할 수 있는가?
• RQ2 목표 도메인이 높은 다양성을 보이는 경우(예: 다단계 MRI), 제안된 방법이 쌍이 없는 CT와 MRI 데이터에서 어떻게 성능을 내는가?
• RQ3 분리된 표현 프레임워크는 단일 모델이 여러 모달리티의 쌍이 없는 데이터에서 학습되는 공동 도메인 학습을 지원할 수 있는가?
• RQ4 특히 복잡하고 다중 모달 타겟 도메인에서 CycleGAN에 비해 의미적 콘텐츠를 더 잘 보존하는가?
• RQ5 스틸 코드를 조작함으로써 동일한 콘텐츠 코드에서 다양한 실재감 있는 스타일 전이(예: 전기영양, 동맥기, 정맥기 MRI)를 생성할 수 있는가?

주요 결과

• 제안된 DADR 방법은 CT 훈련 데이터만을 사용하여 전기영양 MRI 분할에서 0.81의 Dice 유사도 계수(DSC)를 달성하였으며, CycleGAN 기반 방법(0.72)을 크게 능가하였다.
• 세 가지 대조 단계를 가진 다단계 MRI에서 DADR 모델은 DSC 0.74를 유지하였고, CycleGAN 기반 방법은 급격히 감소하여 0.52에 머물렀다.
• 공동 도메인 학습에 대해 강력한 일반화 성능을 보였으며, 쌍이 없는 데이터에서 동시에 CT와 MRI를 학습함으로써 CT에서 DSC 0.912, MRI에서 DSC 0.891을 달성하여 각각 단독으로 학습된 모델을 초월하였다.
• 분리된 표현 덕분에 스타일 코드를 다양하게 조작함으로써 동일한 콘텐츠 코드에서 다수의 실재감 있는 MRI 단계(전기영양, 동맥기, 정맥기)를 생성할 수 있었다.
• 공유된 콘텐츠 공간은 도메인 간에 의미적 해부학적 정보를 효과적으로 유지하여, 큰 도메인 이동과 높은 목표 도메인 다양성 조건에서도 강건한 적응을 가능하게 하였다.
• 특히 픽셀 수준의 스타일 전이에 의존하는 대신 특징 수준의 의미 보존에 중점을 두어, CycleGAN에 비해 더 뛰어난 강건성과 표현 품질을 보였다.