[논문 리뷰] 4D Semantic Cardiac Magnetic Resonance Image Synthesis on XCAT Anatomical Model

Samaneh Abbasi-Sureshjani, Sina Amirrajab외 4명|arXiv (Cornell University)|2020. 02. 17.

Generative Adversarial Networks and Image Synthesis참고 문헌 21인용 수 6

한 줄 요약

이 논문은 XCAT 심장 필름을 해부학적으로 정확한 기반으로 하여, 공간적으로 인지하는, 모odal리티 특화의 이미지 합성에 SPADE를 사용하는 조건부 GAN과 결합한 하이브리드 생성 모델을 제안한다. 이 방법은 학습 가능한 스타일 전이를 통해 제어 가능하고 현실적이며 해부학적으로 타당한 CMR 이미지를 생성하며, 감독형 의료 영상 작업을 위한 확장 가능한 가상 인구를 제공한다.

ABSTRACT

We propose a hybrid controllable image generation method to synthesize anatomically meaningful 3D+t labeled Cardiac Magnetic Resonance (CMR) images. Our hybrid method takes the mechanistic 4D eXtended CArdiac Torso (XCAT) heart model as the anatomical ground truth and synthesizes CMR images via a data-driven Generative Adversarial Network (GAN). We employ the state-of-the-art SPatially Adaptive De-normalization (SPADE) technique for conditional image synthesis to preserve the semantic spatial information of ground truth anatomy. Using the parameterized motion model of the XCAT heart, we generate labels for 25 time frames of the heart for one cardiac cycle at 18 locations for the short axis view. Subsequently, realistic images are generated from these labels, with modality-specific features that are learned from real CMR image data. We demonstrate that style transfer from another cardiac image can be accomplished by using a style encoder network. Due to the flexibility of XCAT in creating new heart models, this approach can result in a realistic virtual population to address different challenges the medical image analysis research community is facing such as expensive data collection. Our proposed method has a great potential to synthesize 4D controllable CMR images with annotations and adaptable styles to be used in various supervised multi-site, multi-vendor applications in medical image analysis.

연구 동기 및 목표

• 감독형 딥 러닝을 위한 의료 영상에서의 4D 심장 MRI 데이터의 부족한 레이블링과 현실성 문제를 해결하기 위해.
• 의학적 해부학적으로 정확하고 시간적으로 일관되며 모달리티 특화된 CMR 이미지와 의미론적 세그멘테이션 레이블을 생성하기 위해.
• 실제 CMR 이미지에서의 스타일 전이를 통해 합성된 XCAT 기반 해부학 모델의 현실성 향상을 위해.
• 다중 기관, 다중 제조사 응용을 위한 민첩하고 유연한 심장 MRI 데이터의 가상 인구를 구축하기 위해.
• 심장 영상 분석에서의 데이터 효율성을 향상시키고 높은 비용이 드는 실제 데이터 수집에 대한 의존도를 줄이기 위해.

제안 방법

• 이 방법은 25개의 시간 프레임과 18개의 단축축 위치를 가진 4D XCAT 심장 모델을 기반으로 한 해부학적 템플릿으로 사용한다.
• XCAT 모델에서 의미론적 세그멘테이션 레이블을 생성하고, 이를 이미지 합성에 조건부 입력으로 사용하는 SPADE-GAN에 활용한다.
• SPADE 정규화를 사용하는 조건부 GAN은 이미지 생성 과정에서 해부학적 구조 간의 공간적 관계를 유지한다.
• 실제 CMR 이미지에서의 모달리티 특화된 외관(예: T1 가중치 대비 대비)을 합성 출력으로 전달하기 위해 스타일 인코더 네트워크를 통합한다.
• 인스턴스 정규화 레이어를 갖춘 수정된 VAE는 배경 구조의 제어를 가능하게 하여 슬라이스 간 일관성을 향상시킨다.
• 모델은 실제 CMR 데이터로 훈련되어 모달리티 특화된 특징을 학습하면서도 XCAT의 생리적 운동과 해부학을 유지한다.

실험 결과

연구 질문

• RQ1 물리 기반 필름과 데이터 기반 GAN을 융합한 하이브리드 접근 방식이 현실적이고 4D이며 의미론적으로 레이블이 부여된 심장 MRI 영상을 생성할 수 있는가?
• RQ2 SPADE 기반 조건부 GAN이 합성 CMR 영상에서 해부학적 구조와 공간적 관계를 어느 정도 유지하는가?
• RQ3 실제 CMR 이미지에서의 스타일 전이가 합성된 XCAT 기반 해부학 모델에 효과적으로 적용되어 현실성을 향상시킬 수 있는가?
• RQ4 4D 볼륨 내 시간과 슬라이스 위치에 따라 생성된 이미지의 제어 가능성과 일관성은 어느 정도인가?
• RQ5 합성 데이터는 다중 기관, 다중 제조사 응용을 위한 심장 세그멘테이션 작업에서 성능 향상에 효과적으로 사용될 수 있는가?

주요 결과

• 제안된 방법은 XCAT를 해부학적 기반으로 사용하여 4D, 의미론적으로 레이블이 부여되고 해부학적으로 현실적인 심장 MRI 영상을 성공적으로 합성한다.
• SPADE-GAN은 모든 25개의 심장 단계와 18개의 단축축 슬라이스에서 공간적 구조와 클래스 경계를 유지하여 시간적 및 공간적 일관성을 확보한다.
• 스타일 인코더의 통합은 실제 CMR 이미지에서의 전반적이고 국소적인 외관 특징을 합성 출력으로 전이할 수 있게 한다.
• 스타일 인코더에서 인스턴스 정규화 레이어를 제거하면 배경 영역의 의미론적 세부 정보가 손실되며, 아키텍처 설계의 중요성을 입증한다.
• 이 방법은 제어 가능한 해부학적 및 영상 대비를 갖춘 다양한 가상 인구의 심장 MRI 데이터를 생성할 수 있다.
• 초기 결과는 합성 데이터가 심장 세그멘테이션의 데이터 증강에 효과적으로 사용될 수 있으며, 실제 데이터에 대한 의존도를 감소시킬 수 있음을 시사한다.