[논문 리뷰] On the effectiveness of GAN generated cardiac MRIs for segmentation

Youssef Skandarani, Nathan Painchaud외 2명|arXiv (Cornell University)|2020. 05. 18.

Advanced MRI Techniques and ApplicationsMedicine참고 문헌 8인용 수 22

한 줄 요약

이 논문은 변분 오토인코더(VAE)에서 유도된 해부학적 지도를 조건으로 삼아, 정확한 세그멘테이션 레이블이 부여된 현실적인 픽셀 수준의 심장 MRI를 생성하는 VAE-GAN 프레임워크를 제안한다. 이 방법은 데이터 증강 및 제한된 실제 데이터셋에서의 피지컬 튜닝을 병행할 경우, 분할 성능을 최상위 수준으로 향상시켜 DICE 스코어를 최대 12% 향상시킨다.

ABSTRACT

In this work, we propose a Variational Autoencoder (VAE) - Generative Adversarial Networks (GAN) model that can produce highly realistic MRI together with its pixel accurate groundtruth for the application of cine-MR image cardiac segmentation. On one side of our model is a Variational Autoencoder (VAE) trained to learn the latent representations of cardiac shapes. On the other side is a GAN that uses "SPatially-Adaptive (DE)Normalization" (SPADE) modules to generate realistic MR images tailored to a given anatomical map. At test time, the sampling of the VAE latent space allows to generate an arbitrary large number of cardiac shapes, which are fed to the GAN that subsequently generates MR images whose cardiac structure fits that of the cardiac shapes. In other words, our system can generate a large volume of realistic yet labeled cardiac MR images. We show that segmentation with CNNs trained with our synthetic annotated images gets competitive results compared to traditional techniques. We also show that combining data augmentation with our GAN-generated images lead to an improvement in the Dice score of up to 12 percent while allowing for better generalization capabilities on other datasets.

연구 동기 및 목표

• 의료 영상 분야에서 레이블이 부착된 심장 MRI 데이터셋의 부족성과 높은 비용 문제를 해결하기 위해.
• 정밀한 세그멘테이션 레이블이 부여된 고도로 현실적인 다양성 있는 완전히 감독된 심장 시네-MRI 영상을 생성하기 위해.
• 합성된 해부학적으로 타당한 MRI 데이터를 사용해 딥 러닝 분할 모델의 데이터 증강을 가능하게 하기 위해.
• 제한된 실제 데이터셋에서 CNN 기반 분할 네트워크의 일반화 능력과 성능을 향상시키기 위해.
• 엔드 투 엔드에서 레이블 일관성을 유지하는 의료 영상 생성을 위한 VAE-GAN 파이프라인의 가능성을 탐색하기 위해.

제안 방법

• 실제 세그멘테이션 지도로부터 심장 해부학적 형태의 잠재 분포를 학습하는 변분 오토인코더(VAE).
• SPADE**(Spatially-Adaptive Normalization) 모듈을 갖춘 GAN이 VAE에서 생성한 해부학적 지도를 조건으로 삼아 현실적인 MRI 영상을 생성한다.
• 생성기 모델은 입력된 해부학적 지도와 정확히 일치하는 심장 구조를 갖춘 MRI 영상을 생성하여 지상 진실 일관성을 확보한다.
• 추론 과정에서 VAE의 잠재 공간에서 샘플링을 통해 다양한 심장 형태를 생성하고, 이를 GAN에 입력하여 해당하는 합성 MRI를 생성한다.
• 이 프레임워크는 훈련을 위한 영상 및 세그멘테이션 레이블이 짝지어진 대규모 데이터 생성(100만 장)을 가능하게 한다.
• 이 방법은 ENet을 합성 데이터에서 훈련시켜, 실제 데이터셋에서의 데이터 증강 및 피지컬 튜닝 여부에 따라 평가된다.

실험 결과

연구 질문

• RQ1 VAE-GAN 프레임워크는 정확하고 픽셀 수준의 세그멘테이션 레이블이 부여된 현실적인 심장 MRI를 생성할 수 있는가?
• RQ2 이 프레임워크에서 생성된 합성 데이터는 실제 데이터와 비교해 CNN의 심장 분할을 훈련시키는 데 얼마나 효과적인가?
• RQ3 합성 데이터와 전통적 데이터 증강을 조합하면 분할 성능 향상과 모델 일반화 능력 향상에 기여하는가?
• RQ4 실제 데이터에서의 피지컬 튜닝이 합성 데이터에서 사전 훈련된 모델의 성능 향상에 어느 정도 기여하는가?
• RQ5 합성 데이터는 특히 한 데이터셋에서 훈련하고 다른 데이터셋에서 테스트할 경우, 교차 데이터셋 일반화 능력을 향상시킬 수 있는가?

주요 결과

• 100만 장의 합성 ACDC 유사 영상에서 훈련된 ENet는 실질적인 ACDC 데이터에서 훈련한 경우보다 Sunnybrook 데이터셋에서 DICE 스코어 0.853을 기록했으며, 이는 더 뛰어난 교차 데이터셋 일반화 능력을 보여준다.
• 데이터 증강 및 피지컬 튜닝을 적용한 결과, Sunnybrook 데이터셋에서의 DICE 스코어는 실질적 데이터만 사용한 경우 0.776에서 합성 데이터에 데이터 증강 및 피지컬 튜닝을 적용한 경우 0.874로 향상되었다.
• 합성 데이터에 데이터 증강을 적용한 모델은 실질적 데이터 기반 기준 대비 12%의 상대적 DICE 스코어 향상을 달성했으며, 실질적 데이터만 사용한 경우보다 최대 4% 향상된 성능을 기록했다.
• 합성 데이터가 일반화 능력에서 실질적 데이터를 초월했으며, 합성 데이터에서 훈련한 경우 타겟 데이터셋에서 더 높은 DICE 스코어를 기록함으로써 이를 입증했다.
• VAE-GAN 프레임워크는 다양하고 해부학적으로 타당한 심장 형태와 해당하는 현실적인 MRI 영상을 성공적으로 생성했으며, 시각적 품질이 실제 시네-MRI와 유사했다.
• 합성 데이터와 데이터 증강의 조합은 ACDC 및 Sunnybrook 데이터셋 모두에서 일관된 성능 향상을 이끌었으며, 합성 사전 훈련 후 실질적 데이터에서의 피지컬 튜닝을 통해 최고의 성능을 달성했다.