[논문 리뷰] XCAT-GAN for Synthesizing 3D Consistent Labeled Cardiac MR Images on Anatomically Variable XCAT Phantoms

Sina Amirrajab, Samaneh Abbasi-Sureshjani외 5명|arXiv (Cornell University)|2020. 07. 27.

Generative Adversarial Networks and Image SynthesisComputer Science참고 문헌 28인용 수 21

한 줄 요약

이 논문은 4D XCAT 펌프를 사용하여 3D 일致성 있고 해부학적으로 다양하며 레이블이 부여된 심장 MRI 영상을 합성하는 조건부 GAN 프레임워크인 XCAT-GAN을 제안한다. 실제 CMR 영상과 의미적 레이블을 기반으로 훈련하고, 모odal 특화 무늬를 XCAT 기반 레이블 맵에 전달함으로써, 4클래스(심장 전용) 또는 8클래스(다중 조직 포함) 지침을 사용하여 고해상도의 합성 데이터를 생성한다. 이는 심장 심실 분할 성능을 햖을 뿐만 아니라, 실제 데이터의 80%가 합성 영상으로 대체된 경우에도 성능을 유지한다.

ABSTRACT

Generative adversarial networks (GANs) have provided promising data enrichment solutions by synthesizing high-fidelity images. However, generating large sets of labeled images with new anatomical variations remains unexplored. We propose a novel method for synthesizing cardiac magnetic resonance (CMR) images on a population of virtual subjects with a large anatomical variation, introduced using the 4D eXtended Cardiac and Torso (XCAT) computerized human phantom. We investigate two conditional image synthesis approaches grounded on a semantically-consistent mask-guided image generation technique: 4-class and 8-class XCAT-GANs. The 4-class technique relies on only the annotations of the heart; while the 8-class technique employs a predicted multi-tissue label map of the heart-surrounding organs and provides better guidance for our conditional image synthesis. For both techniques, we train our conditional XCAT-GAN with real images paired with corresponding labels and subsequently at the inference time, we substitute the labels with the XCAT derived ones. Therefore, the trained network accurately transfers the tissue-specific textures to the new label maps. By creating 33 virtual subjects of synthetic CMR images at the end-diastolic and end-systolic phases, we evaluate the usefulness of such data in the downstream cardiac cavity segmentation task under different augmentation strategies. Results demonstrate that even with only 20% of real images (40 volumes) seen during training, segmentation performance is retained with the addition of synthetic CMR images. Moreover, the improvement in utilizing synthetic images for augmenting the real data is evident through the reduction of Hausdorff distance up to 28% and an increase in the Dice score up to 5%, indicating a higher similarity to the ground truth in all dimensions.

연구 동기 및 목표

• 딥 러닝을 위한 레이블이 부여된 심장 MRI 데이터셋의 부족성과 해부학적 다양성의 제한을 해결한다.
• 기존 도메인 번역 방법이 소스 도메인을 초월한 새로운 해부학적 변형을 생성할 수 없는 한계를 극복한다.
• 다양한 해부학적 특징을 가진 가상 펌프를 사용하여 현실적이며 3D 일치성 있고 의미적으로 레이블이 부여된 CMR 영상을 합성하는 방법을 개발한다.
• 조직 특화 무늬와 해부학적 일관성을 유지하는 합성 영상을 생성함으로써 데이터 증강 및 실제 데이터의 잠재적 대체를 가능하게 한다.
• 더 나은 영상 합성 지도를 위해 다중 조직 레이블 맵을 통합함으로써 합성 데이터를 통해 심장 심실 분할 성능을 향상시킨다.

제안 방법

• 심장과 주변 기관의 변형을 포함한 다양한 해부학적 특징을 가진 33명의 가상 환자를 생성하기 위해 4D 확장 심장 및 몸통(XCAT) 펌프를 사용한다.
• 실제 CMR 영상과 의미적 레이블 맵을 쌍으로 하여 조건부 GAN(XCAT-GAN)을 훈련시어 모odal 특화 영상 특성(예: T1/T2 대비, 조직 무늬)을 학습한다.
• 두 가지 합성 전략을 적용한다: 4클래스(심장 전용) 및 8클래스(심장과 주변 기관의 다중 조직 레이블 포함)로 공간적 및 의미적 일관성을 향상시킨다.
• 추론 시, 실제 레이블을 XCAT 기반 레이블 맵으로 대체하여 학습된 무늬 분포를 유지하면서 새로운 합성 CMR 영상을 생성한다.
• 모의 XCAT 영상에서 사전 훈련된 분할 네트워크를 활용하여 정확한 다중 조직 레이블 맵을 생성함으로써 8클래스 합성의 조건화를 향상시킨다.
• 평가를 위해 실 데이터에 합성 영상을 증강하여 훈련한 2D U-Net 기반 분할 네트워크를 사용하여 심장 심실 분할 성능을 평가한다.

실험 결과

연구 질문

• RQ1 XCAT-GAN은 해부학적으로 다양성이 있는 XCAT 펌프에서 3D 일치성 있고 현실적인 조직 무늬를 가진 레이블이 부여된 심장 MRI 영상을 생성할 수 있는가?
• RQ2 8클래스(다중 조직 레이블 포함)를 사용할 경우, 심장 전용 레이블(4클래스) 대비 합성된 CMR 영상의 해부학적 일관성과 현실성은 향상되는가?
• RQ3 합성 CMR 영상이 심장 심실 분할을 위한 딥 러닝 모델 훈련에서 실제 데이터를 얼마나 효과적으로 증강하거나 대체할 수 있는가?
• RQ4 자원이 부족한 조건에서 합성 데이터의 포함 여부가 딱도 스코어(DSC)와 하우스도르프 거리(HD) 측정치에서 분할 성능에 어떤 영향을 미치는가?
• RQ5 실제 데이터를 원래 훈련 세트의 20%로 줄였을 때도 합성 데이터가 높은 성능를 유지할 수 있는가?

주요 결과

• XCAT-GAN이 생성한 합성 CMR 영상들은 8클래스 레이블 맵을 사용할 경우 더 높은 해부학적 일관성과 무늬 현실성을 보였다.
• 실제 cCMR 및 ACDC 데이터의 20%만을 사용하고도 합성 데이터가 포함된 경우 분할 성능이 유지되었다.
• 합성 데이터 추가로 평균 하우스도르프 거리가 최대 28% 감소하고 딱도 스코어가 최대 5% 향상되었다.
• 8클래스 합성은 배경 조직의 잘못된 양성 반응을 크게 감소시켰으며, 이는 다중 조직 레이블에 의한 더 나은 해부학적 지도 덕분으로 여겨진다.
• 다양한 증강 전략에 걸쳐 성능 향상이 일관되게 관찰되었으며, 8클래스 합성 데이터는 더 뛰어난 일반화 및 내성성을 보였다.
• 실제 훈련 데이터의 최대 80%를 합성 영상으로 대체해도 성능 저하가 심각하지 않아, 의료 영상에서 데이터 효율적인 딥 러닝의 강력한 잠재력을 보여주었다.