[논문 리뷰] 3D-StyleGAN: A Style-Based Generative Adversarial Network for Generative Modeling of Three-Dimensional Medical Images

Sung‐Min Hong, Razvan Marinescu외 5명|arXiv (Cornell University)|2021. 07. 20.

Generative Adversarial Networks and Image Synthesis참고 문헌 36인용 수 4

한 줄 요약

이 논문은 2D 연산을 3D로 확장하고, 메모리 효율성을 위해 특징 맵과 잠재 벡터의 깊이를 줄이며, 스타일 벡터를 활용해 제어 가능한 이미지 합성을 가능하게 함으로써, 고해상도 3D 의료 영상에 대한 생성 모델인 3D-StyleGAN을 제안한다. 이는 2mm 등방성 해상도의 뇌 MRI 생성을 달성하고, 해부학적 제어를 위한 잠재공간 투영과 스타일 믹싱을 가능하게 한다.

ABSTRACT

Image synthesis via Generative Adversarial Networks (GANs) of three-dimensional (3D) medical images has great potential that can be extended to many medical applications, such as, image enhancement and disease progression modeling. However, current GAN technologies for 3D medical image synthesis need to be significantly improved to be readily adapted to real-world medical problems. In this paper, we extend the state-of-the-art StyleGAN2 model, which natively works with two-dimensional images, to enable 3D image synthesis. In addition to the image synthesis, we investigate the controllability and interpretability of the 3D-StyleGAN via style vectors inherited form the original StyleGAN2 that are highly suitable for medical applications: (i) the latent space projection and reconstruction of unseen real images, and (ii) style mixing. We demonstrate the 3D-StyleGAN's performance and feasibility with ~12,000 three-dimensional full brain MR T1 images, although it can be applied to any 3D volumetric images. Furthermore, we explore different configurations of hyperparameters to investigate potential improvement of the image synthesis with larger networks. The codes and pre-trained networks are available online: https://github.com/sh4174/3DStyleGAN.

연구 동기 및 목표

• 2D GAN의 볼륨 데이터 합성에서의 한계를 극복하고, 스타일GAN2를 3D 의료 영상 생성에 확장한다.
• 스타일 벡터를 활용해 스타일GAN2에서 유래한 방식으로 3D 뇌 MRI의 제어 가능하고 해석 가능한 생성을 가능하게 한다.
• 잠재공간 투영과 스타일 믹싱이 새로운 실재 3D 의료 영상에 대해 가능한지 조사한다.
• 제한된 필터 깊이와 잠재 벡터 크기를 사용하여 메모리 제약 조건 하에서 성능를 평가한다.
• 초해상도, 운동 보정, 질병 모델링 등의 애플리케이션을 위한 공개 가능한 프레임워크를 제공한다.

제안 방법

• 볼륨 합성을 가능하게 하기 위해 스타일GAN2의 모든 2D 연산, 레이어, 노이즈 입력을 3D 등가로 교체한다.
• GPU 메모리 제약 조건을 관리하면서도 이미지 품질을 유지하기 위해 필터 맵 깊이와 잠재 벡터 크기를 감소시킨다.
• 각 3D 합성곱 블록에 적용된 학습된 애핀 변환(모드 및 디모드)을 사용한 스타일 기반 생성기 구현한다.
• 학습된 잠재공간에 새로운 실재 3D 영상을 투영하여 복원을 가능하게 하는 투영 함수를 구현한다.
• 합성 네트워크의 다양한 해상도 수준에서 다른 영상의 스타일 벡터를 조합하여 스타일 믹싱을 적용한다.
• 3D-ResNet 판별기와 점진적 해상도 증가 기법을 사용하여 약 12,000개의 T1-강조 3D 뇌 MRI 스캔을 학습한다.

실험 결과

연구 질문

• RQ1 메모리 제약 조건 하에서도 고해상도 이미지 품질을 유지하면서 스타일GAN2를 3D 의료 영상 생성에 효과적으로 확장할 수 있는가?
• RQ2 새로운 실재 3D 의료 영상의 잠재공간 투영이 3D-StyleGAN 프레임워크를 통해 고해상도 복원을 가능하게 하는가?
• RQ3 다양한 해상도 수준에서의 스타일 벡터가 3D MRI 합성에서 특정 해부학적 특징을 얼마나 제어할 수 있는가?
• RQ4 필터 깊이와 잠재 벡터 크기가 생성된 3D 의료 영상의 품질에 어떤 영향을 미치는가?
• RQ5 스타일 믹싱을 통해 3D 의료 영상 간에 의미 있고 해석 가능한 해부학적 변형을 전달할 수 있는가?

주요 결과

• 3D-StyleGAN은 2mm 등방성 해상도에서 고해상도 3D 뇌 MRI를 성공적으로 생성하였으며, 시각적으로 현실적인 이미지와 최소한의 잡음으로 구성되었다.
• 새로운 실재 3D 영상의 잠재공간 투영을 통해 고해상도 복원이 이루어졌으며, 이는 모델의 역행 가능성(capacity for invertibility)을 입증한다.
• 스타일 믹싱을 통해 저해상도 스타일 벡터를 활용해 뇌실 크기나 뇌 윤곽과 같은 고수준 해부학적 특징을 제어할 수 있었다.
• 1mm 해상도에서 필터 맵 깊이가 16인 경우 생성된 이미지 품질이 상당히 떨어졌으며, 이는 네트워크 깊이에 대한 임계값 효과를 시사한다.
• 더 깊은 필터 맵(예: fd96)을 사용할 경우 2mm 해상도에서 더 나은 성능를 기록하여, 품질 향상에 있어 아키텍처 깊이의 중요성을 확인한다.
• 소스 코드와 사전 학습된 모델은 공개되어 있어 재현성과 3D 의료 영상 생성 분야의 후속 응용을 가능하게 한다.