[논문 리뷰] Cross-Domain Medical Image Translation by Shared Latent Gaussian Mixture Model

Yingying Zhu, Youbao Tang외 5명|arXiv (Cornell University)|2020. 07. 14.

Generative Adversarial Networks and Image Synthesis참고 문헌 19인용 수 4

한 줄 요약

이 논문은 비대조 CT에서 대조형 CT로의 번역 과정에서 미세 해부학적 구조를 유지하기 위해 가우시안 혼합 모델에서 유도된 공유 잠재 변수를 사용하는 패치 기반 교차 도메인 의료 영상 번역 방법을 제안한다. 단일 가우시안 대신 가우시안 혼합 모델로 국소 영상 패치를 모델링함으로써, 석회화된 플라크 및 췌장과 같은 작은 구조물의 유지가 크게 향상되었으며, 플라크 및 췌장 작업 모두에서 세그멘테이션 정확도에서 CycleGAN과 UNIT를 능가하였다.

ABSTRACT

Current deep learning based segmentation models often generalize poorly between domains due to insufficient training data. In real-world clinical applications, cross-domain image analysis tools are in high demand since medical images from different domains are often needed to achieve a precise diagnosis. An important example in radiology is generalizing from non-contrast CT to contrast enhanced CTs. Contrast enhanced CT scans at different phases are used to enhance certain pathologies or organs. Many existing cross-domain image-to-image translation models have been shown to improve cross-domain segmentation of large organs. However, such models lack the ability to preserve fine structures during the translation process, which is significant for many clinical applications, such as segmenting small calcified plaques in the aorta and pelvic arteries. In order to preserve fine structures during medical image translation, we propose a patch-based model using shared latent variables from a Gaussian mixture model. We compare our image translation framework to several state-of-the-art methods on cross-domain image translation and show our model does a better job preserving fine structures. The superior performance of our model is verified by performing two tasks with the translated images - detection and segmentation of aortic plaques and pancreas segmentation. We expect the utility of our framework will extend to other problems beyond segmentation due to the improved quality of the generated images and enhanced ability to preserve small structures.

연구 동기 및 목표

• 라벨이 부족한 데이터로 인해 딥 러닝 세그멘테이션 모델의 일반화 능력이 떨어지는 문제를 해결하기 위해.
• 비대조형 CT에서 대조형 CT로의 번역 과정에서 석회화된 플라크 및 소형 기관과 같은 미세 해부학적 구조를 더 잘 유지하기 위해.
• 쌍방향 데이터가 없는 이미지에서도 작동하도록 하여 실제 임상 환경에서 흔히 발생하는 쌍방향 데이터 부족 문제를 해결하기 위해.
• 비대조형 CT에서의 세그멘테이션 성능을 향상시키기 위해 고품질의 합성 대조형 CT 영상을 생성하기 위해.

제안 방법

• 이 방법은 비대조형 및 대조형 CT 스캔에서 32×32 크기의 작은 영상 패치를 추출하여 국소 영상 통계를 모델링하는 패치 기반 접근법을 사용한다.
• 단일 가우시안 분포 대신 공유 잠재 공간을 가우시안 혼합 모델(GMM)로 모델링하여 영상 패치 내의 다중 국소 클러스터를 포괄한다.
• 공유된 구성 요소를 갖는 변분 오토인코더를 통해 GMM 기반의 잠재 공간을 학습함으로써 도메인 간 불변 표현 학습이 가능해진다.
• 이미지 번역은 한 도메인의 패치를 공유된 GMM 기반의 잠재 공간을 통해 다른 도메인으로 매핑함으로써 수행된다.
• 모델은 적대적 손실과 사이클 일致성 손실을 사용하여 엔드 투 엔드로 훈련되며, 현실적이고 일관된 번역을 보장한다.
• 이 프레임워크는 대조형 CT에서 비대조형 CT를 합성하는 데 적용되며, 이를 통해 세그멘테이션 작업의 훈련 데이터 증강에 활용된다.

실험 결과

연구 질문

• RQ1 가우시안 혼합 모델로 모델링된 공유 잠재 공간이 교차 도메인 의료 영상 번역에서 단일 가우시안 분포보다 미세 해부학적 구조를 더 잘 유지할 수 있는가?
• RQ2 제안된 패치 기반 GMM 모델이 대동맥 및 골반 동맥의 석회화된 플라크 세그멘테이션에서 성능을 향상시키는가?
• RQ3 GMM 기반 번역 방법이 CycleGAN 및 UNIT와 같은 최첨단 모델에 비해 CT 영상 번역 과정에서 구조적 세부 정보를 얼마나 잘 유지하는가?
• RQ4 제안된 방법으로 생성된 합성 영상이 비대조형 CT 스캔에서의 세그멘테이션 정확도 향상에 얼마나 기여하는가?
• RQ5 이 방법은 저대비 또는 비대조 영상 도메인에서 췌장 세그멘테이션과 같은 다른 세그멘테이션 작업으로 일반화 가능한가?

주요 결과

• 비대조형 CT에서 대동맥 플라크 세그멘테이션에서 제안된 방법은 딱도 스코어 0.734 ± 0.136을 기록하여 CycleGAN(0.728 ± 0.154)과 UNIT(0.731 ± 0.142)를 능가하였다.
• 췌장 세그멘테이션에서, 합성 비대조형 CT로 훈련했을 경우 기준 모델 대비 딱도 스코어가 0.08 이상 향상되었으며, 잘못된 양성 결과 픽셀 수가 5,000개 이상 감소하였다.
• 비대조형 CT에서 플라크 세그멘테이션의 정밀도 및 재현율 저하를 기준 모델 대비 각각 1.5% 이상, 4% 이상 감소시켰다.
• 합성 비대조형 영상을 훈련 데이터로 사용했을 때 대조형 CT에서의 세그멘테이션 성능도 향상되었으며, 제안된 방법이 모든 방법 중에서 가장 높은 딱도 스코어를 기록하였다.
• 시각적으로도 제안된 방법이 CycleGAN 및 UNIT에 비해 석회화된 플라크의 블러링 현상을 더 잘 줄였음을 확인하였다.
• 플라크 및 췌장 세그멘테이션 작업 모두에서 최첨단 성능을 달성하여, 교차 도메인 의료 영상 분석을 위한 고품질 합성 영상 생성 능력을 입증하였다.