[논문 리뷰] Unsupervised Wasserstein Distance Guided Domain Adaptation for 3D Multi-Domain Liver Segmentation

Chenyu You, Junlin Yang외 2명|arXiv (Cornell University)|2020. 09. 06.

COVID-19 diagnosis using AI참고 문헌 10인용 수 8

한 줄 요약

이 논문은 워샤르슈타인 거리 지도 기반 분리 표현 학습을 사용하여, 쌍방향이 아닌 CT 및 MRI 데이터에서 3D 비지도 도메인 적응 방법을 제안한다. 3D 컨volution 네트워크, 콘텐츠 판별기, 사이클 일致성 등을 활용하여, 쌍방향이 아닌 CT 및 MRI 데이터로부터 도메인 불변 콘텐츠 특징을 학습하며, CT에서 평균 딜레이 스코어 0.904, MRI에서 0.883을 기록하여 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Deep neural networks have shown exceptional learning capability and generalizability in the source domain when massive labeled data is provided. However, the well-trained models often fail in the target domain due to the domain shift. Unsupervised domain adaptation aims to improve network performance when applying robust models trained on medical images from source domains to a new target domain. In this work, we present an approach based on the Wasserstein distance guided disentangled representation to achieve 3D multi-domain liver segmentation. Concretely, we embed images onto a shared content space capturing shared feature-level information across domains and domain-specific appearance spaces. The existing mutual information-based representation learning approaches often fail to capture complete representations in multi-domain medical imaging tasks. To mitigate these issues, we utilize Wasserstein distance to learn more complete representation, and introduces a content discriminator to further facilitate the representation disentanglement. Experiments demonstrate that our method outperforms the state-of-the-art on the multi-modality liver segmentation task.

연구 동기 및 목표

• 목표 도메인에서 레이블이 없는 상황에서 3D 다중 모달 간 간장 분할에서 발생하는 도메인 이동 문제를 해결한다.
• 다양한 의료 영상 모달 간 완전한 표현을 포괄하지 못하는 상호정보 기반 방법의 한계를 극복한다.
• 쌍방향이 아닌 CT 및 다단계 MRI 데이터를 통해 분리된 도메인 불변 콘텐츠 표현을 학습함으로써 딥 러닝 모델의 일반화 능력을 향상시킨다.
• 2D 근사치에 의존하는 것보다 3D 컨volution 네트워크를 통해 부피적 맥락을 통합함으로써 3D 공간 특징 학습을 향상시킨다.
• 모달 간 특징를 유지하면서 해부학적 구조 정보를 보존하기 위해, 모달 간 특징를 갖는 콘텐츠 판별기를 도입한다.

제안 방법

• 부피 영상에서 z-차원의 공간적 의존성을 캡처하기 위해 3D 컨volution 네트워크 기반 아키텍처를 사용한다.
• 도메인 불변 콘텐츠 특징와 모달 특화된 외관 특징를 분리하기 위해 별도의 콘텐츠 및 스타일 인코더를 활용한다.
• 콘텐츠 공간에서 도메인 간 격차를 최소화하기 위해 워샤르슈타인 GAN(WGAN) 손실을 적용하여 특징 분포 정렬을 향상시킨다.
• 다양한 도메인 간 콘텐츠 수준 표현을 구분하기 위해 콘텐츠 판별기를 도입하여, 콘텐츠 특징가 모달 특화 정보를 포함하지 않도록 보장한다.
• 이미지 간 번역 과정에서 구조적 일致성을 유지하기 위해 사이클 일치성 손실을 통해 도메인 간 사이클 일치성을 강제한다.
• 레이블이 없는 목표 도메인 이미지에서 강력한 분할을 가능하게 하기 위해, 분리된 콘텐츠 특징에 대해 분할 헤드(SegModule)를 훈련시킨다.

실험 결과

연구 질문

• RQ1 기존 GAN 손실에 비해 워샤르슈타인 거리 학습이 다중 모달 3D 의료 영상 분할에서 분리 표현의 품질을 향상시키는가?
• RQ2 쌍방향 훈련 데이터 없이 CT에서 다단계 MRI로 이동할 때, 제안된 3D-WDGDA 모델이 도메인 이동을 얼마나 효과적으로 줄이는가?
• RQ3 콘텐츠 판별기를 포함함으로써 3D 의료 영상에서 해부학적 콘텐츠와 모달 특화된 외관을 얼마나 잘 분리하는가?
• RQ4 2D 기반 도메인 적응 방법에 비해 3D 부피 특징 학습이 분할 성능 향상에 얼마나 기여하는가?
• RQ5 다단계 MRI 시퀀스와 같이 복잡한 다중 모달 목표 도메인에 적용했을 때, 이 방법의 견고성은 어느 정도인가?

주요 결과

• 제안된 3D-WDGDA c 모델은 CT에서 평균 딜레이 스코어 0.904, MRI에서 0.883을 기록하여 기준 모델인 DenseNet 및 DADR보다 유의미하게 뛰어난 성능을 보였다.
• 다중 모달 목표 도메인 평가에서 3D-WDGDA c는 CT → MRI에서 딜레이 스코어 0.834, MRI → CT에서 0.807을 기록하여 복잡한 영상 대비 대비에서도 뛰어난 견고성을 보였다.
• CT에서 Jaccard 스코어 0.831, MRI에서 0.802를 기록하여 예측된 분할과 진짜 분할 간의 강한 겹침을 나타냈다.
• 그림 3의 정성적 결과는 3D-WDGDA c가 DADR 및 CycleGAN보다 더 해부학적으로 타당한 콘텐츠 전용 이미지를 생성하며 간 구조를 더 잘 유지함을 보여주었다.
• 제거 실험 결과, 콘텐츠 판별기와 워샤르슈타인 손실이 함께 특징 분리 및 분할 성능 향상에 기여함을 확인하였다.
• 다단계 MRI를 목표 도메인으로 테스트했을 때도 높은 성능(딜레이 스코어 0.881)을 유지하여 복잡한 다중 모달 데이터로의 일반화 능력이 뛰어나다는 것을 입증하였다.