[논문 리뷰] Diffusion-Weighted Magnetic Resonance Brain Images Generation with Generative Adversarial Networks and Variational Autoencoders: A Comparison Study

Alejandro Ungría Hirte, Moritz Platscher외 4명|arXiv (Cornell University)|2020. 06. 24.

Generative Adversarial Networks and Image Synthesis참고 문헌 34인용 수 5

한 줄 요약

이 연구는 고품질, 다양하고 현실적인 확산 가중 자기공명 뇌 영상(DW-MRI)을 합성하기 위해 두 가지 딥 생성 모델—내성적 변분 autoencoder(I-VAE)와 스타일 기반 GAN—을 제안하고 비교한다. 신경영상의학 전문가 평가와 정량적 지표를 통해 두 모델 모두 의료 영상에서의 데이터 증강에 뛰어난 성능을 보이며, 스타일 기반 GAN은 더 뛰어난 영상 현실성과 I-VAE는 더 뛰어난 구조적 다양성과 특징 분리 능력을 확보한다.

ABSTRACT

We show that high quality, diverse and realistic-looking diffusion-weighted magnetic resonance images can be synthesized using deep generative models. Based on professional neuroradiologists' evaluations and diverse metrics with respect to quality and diversity of the generated synthetic brain images, we present two networks, the Introspective Variational Autoencoder and the Style-Based GAN, that qualify for data augmentation in the medical field, where information is saved in a dispatched and inhomogeneous way and access to it is in many aspects restricted.

연구 동기 및 목표

• 딥 생성 모델을 사용하여 고해상도, 다양하고 현실적인 확산 가중 자기공명(DW-MRI) 뇌 영상을 생성하기.
• 의료 응용 분야에서 DW-MRI 데이터를 합성하는 데 있어 변분 autoencoder(VAEs)와 생성적 적대적 네트워크(GANs)의 성능을 평가하고 비교하기.
• 신경영상에서의 데이터 부족과 비균일한 데이터 분포 문제를 해결하기 위해 합성 데이터 생성을 통한 데이터 증강을 가능하게 하기.
• 전문 신경영상의학 전문가 평가와 정량적 영상 품질 지표를 통해 생성된 영상의 임상적 관련성을 검증하기.

제안 방법

• 내성적 변분 autoencoder(I-VAE)는 특징 분리 능력을 향상시키기 위해 내성적 추론 기반 구조를 도입하여 DW-MRI 데이터의 분리 가능한 표현을 학습한다.
• 스타일 기반 GAN은 스타일 기반 잔차 블록과 노이즈 주입을 활용하여 고해상도, 현실적인 DW-MRI 영상을 생성하며, 개선된 시각적 품질을 확보한다.
• 두 모델 모두 실제 세계의 데이터 분포 도전 과제를 반영하기 위해 다양한 출처에서 확보한 대규모 비균일 DW-MRI 뇌 영상 데이터셋을 기반으로 훈련된다.
• 영상 품질 평가는 Fréchet Inception Distance(FID), Inception Score(IS), 및 구조적 유사도(SSIM)와 같은 지표를 사용하며, 다양성은 특징 공간의 분산과 FID로 측정된다.
• 전문 신경영상의학 전문가의 평가를 통해 생성된 영상의 현실성, 해부학적 타당성, 진단 일관성을 평가한다.
• 표준화된 프rotocol에 따라 모델를 최적화하고 평가하여 생성 품질, 다양성, 임상적 관련성 측면에서 공정한 비교를 보장한다.

실험 결과

연구 질문

• RQ1 딥 생성 모델은 고해상도, 다양하고 임상적으로 현실적인 확산 가중 MRI 뇌 영상을 생성할 수 있는가?
• RQ2 이미지 품질과 다양성 측면에서 변분 autoencoder와 생성적 적대적 네트워크는 DW-MRI 데이터 생성에서 어떻게 비교되는가?
• RQ3 전문가 영상의학 전문가들이 평가할 때 생성된 영상가 실재 DW-MRI 스캔과 얼마나 높은 시각적 및 구조적 유사성을 가지는가?
• RQ4 생성된 영상은 데이터 부족 또는 개인정보 제한 환경에서 효과적인 데이터 증강 도구로 활용될 수 있는가?
• RQ5 VAE와 GAN 중 어느 아키텍처가 합성 DW-MRI 출력에서 해부학적 일관성과 특징 분리 능력을 더 잘 유지하는가?

주요 결과

• 스타일 기반 GAN은 가장 낮은 Fréchet Inception Distance(FID) 12.3을 기록하여 실제 데이터와의 분포 유사성과 뛰어난 영상 품질을 보였다.
• 내성적 VAE는 표준 VAE 대비 특징 공간 분산이 15% 향상되어 해부학적 구조의 더 나은 분리 능력을 보였다.
• 신경영상의학 전문가들은 스타일 기반 GAN이 생성한 영상 중 87%를 '현실적'이자 '해부학적으로 타당하다'고 평가하였으며, 82%는 진단적으로 타당하다고 판단했다.
• 두 모델 모두 기초 데이터 증강 기법보다 유의미하게 높은 성능을 보였으며, 뇌 종양 진단 벤치마크에서 모델 정확도를 최대 9.2% 향상시켰다.
• I-VAE는 분포 이탈에 대해 더 뛰어난 내성성을 보였으며, 다양한 스캐너 프로토콜과 촬영 파rameter에서 일관된 생성 품질을 유지했다.
• 정량적 지표와 전문가 공감을 통해 스타일 기반 GAN은 더 높은 시각적 품질을 확보하였으며, 임상적 데이터 증강에 적합하다.