[논문 리뷰] Data Efficient Unsupervised Domain Adaptation for Cross-Modality Image Segmentation

Cheng Ouyang, Konstantinos Kamnitsas외 3명|arXiv (Cornell University)|2019. 07. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 17인용 수 7

한 줄 요약

이 논문은 변동형 오토에인코더(VAE) 기반의 사전 매칭과 도메인 적대적 훈련을 조합한 데이터 효율적인 비지도 도메인 적응 방법을 제안한다. 이 방법은 원본 및 타겟 특징 분포가 표준 정규 사전 분포 𝒩(0, I)와 일치하도록 강제하여, 오직 한 개의 레이블이 없는 3D CT 스캔만으로도 기존 방법들이 전체 타겟 데이터셋이 필요로 하는 것보다 뛰어난 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Deep learning models trained on medical images from a source domain (e.g. imaging modality) often fail when deployed on images from a different target domain, despite imaging common anatomical structures. Deep unsupervised domain adaptation (UDA) aims to improve the performance of a deep neural network model on a target domain, using solely unlabelled target domain data and labelled source domain data. However, current state-of-the-art methods exhibit reduced performance when target data is scarce. In this work, we introduce a new data efficient UDA method for multi-domain medical image segmentation. The proposed method combines a novel VAE-based feature prior matching, which is data-efficient, and domain adversarial training to learn a shared domain-invariant latent space which is exploited during segmentation. Our method is evaluated on a public multi-modality cardiac image segmentation dataset by adapting from the labelled source domain (3D MRI) to the unlabelled target domain (3D CT). We show that by using only one single unlabelled 3D CT scan, the proposed architecture outperforms the state-of-the-art in the same setting. Finally, we perform ablation studies on prior matching and domain adversarial training to shed light on the theoretical grounding of the proposed method.

연구 동기 및 목표

• 레이블이 없는 타겟 스캔이 극히 소수일 경우 비지도 도메인 적응의 과제를 해결한다.
• 타겟 데이터 부족 상황에서 성능이 저하되는 기존 도메인 적대적 방법의 한계를 극복한다.
• 최소한의 타겟 데이터로도 훈련의 안정성과 일반화 능력을 향상시키기 위해 데이터 효율적인 사전 정규화 메커니즘을 도입한다.
• 낮은 데이터 환경에서 직접적인 도메인 분포 매칭 대신 VAE 기반의 특징 사전 매칭이 안정적인 대안이 될 수 있음을 보여준다.
• 최소한의 타겟 데이터로도 교차 모odal리틱 심장 MRI에서 CT로의 적응에서 뛰어난 분할 성능을 달성한다.

제안 방법

• 분할을 위해 공유된 도메인 불변 잠재 공간을 학습하기 위해 변동형 오토에인코더(VAE)와 도메인 적대적 훈련을 조합한다.
• 원본 및 타겟 특징의 사후 분포가 고정된 사전 분포 𝒩(0, I)와 일치하도록 Kullback-Leibler(KL) 발산 정규화를 통해 강제한다.
• VAE의 해석적 KL 발산을 활용해 대규모 타겟 데이터가 필요 없이 사전 매칭 손실을 추정한다.
• 사전 정규화된 분리 가능한 특징을 활용하기 위해 분할을 VAE가 학습한 잠재 공간에서 직접 수행한다.
• 도메인 구분자(Domain Discriminator)를 사용하여 잠재 공간에서 원본 및 타겟 특징 분포를 정렬하기 위해 도메인 적대적 훈련을 적용한다.
• 재구성 손실과 적대적 손실을 모두 사용하여 분할 헤드를 엔드 투 엔드로 훈련시켜 특징 품질과 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 타겟 데이터가 극도로 제한된 상황에서 VAE 기반의 사전 매칭이 비지도 도메인 적응 성능을 향상시킬 수 있는가?
• RQ2 교차 모달리틱 분할에서 낮은 데이터 환경에서 사전 매칭은 표준 도메인 적대적 훈련보다 어떻게 비교되는가?
• RQ3 특징 분포를 표준 정규 사전 분포 𝒩(0, I)와 일치시키는 것이 데이터 부족 상황에서 모델의 강건성과 수렴성을 향상시키는가?
• RQ4 VAE 기반의 사전 정규화와 도메인 적대적 훈련의 조합이 전체 타겟 데이터셋을 사용하는 최신 기술 수준의 방법보다 뛰어난 성능을 낼 수 있는가?
• RQ5 사전 매칭은 소수의 샘플을 가진 UDA 시나리오에서 모델의 일반화 능력과 과적합에 어떤 영향을 미치는가?

주요 결과

• 오직 한 개의 레이블이 없는 타겟 스캔만을 사용하여 3D 심장 CT 분할에서 평균 Dice 스코어 72.18%를 달성하였으며, 이는 레이블이 없는 기준선(20.03%)과 동일한 낮은 데이터 설정에서 기존 최신 기술 수준(SOTA) 방법보다 뚜렷이 뛰어난 성능이다.
• 오직 한 장의 타겟 스캔만으로도 현재 최신 기술 수준인 SIFA를 초월하였으며, SIFA는 동일한 성능을 달성하기 위해 전체 16장의 타겟 스캔이 필요로 한다.
• 제거 실험 결과, 사전 매칭 또는 도메인 적대적 훈련을 제거할 경우 모델 붕괴가 발생하고 평균 Dice 스코어가 55% 이하로 떨어지며, 이는 두 구성 요소가 안정성 확보에 필수적임을 시사한다.
• 소수의 샘플 상황에서도 잘 일반화된다: 타겟 스캔에서 연속된 3장의 2D 슬라이스만으로도 조기 정지(early stopping) 시 평균 Dice 스코어가 60% 이상을 기록한다.
• 정성적 결과에서는 최소한의 타겟 데이터 조건에서도 예측된 분할 마스크가 진짜 마스크에 가까운 시각적 품질을 보였다.
• VAE 기반의 사전 정규화는 직접적인 분포 매칭 대비 데이터 효율적인 대안을 제공하며, 타겟 데이터가 부족한 상황에서도 안정적인 훈련을 가능하게 한다.