[논문 리뷰] FakeNews: GAN-based generation of realistic 3D volumetric data -- A systematic review and taxonomy

A.J.M. Ferreira, Jianning Li외 4명|arXiv (Cornell University)|2022. 07. 04.

Generative Adversarial Networks and Image Synthesis인용 수 10

한 줄 요약

이 체계적 리뷰는 의료 및 비의료 분야에서 실존적인 3D 부피 데이터를 생성하는 GAN 기반 방법에 대한 종합적 분석을 제시한다. 아키텍처, 손실 함수, 평가 지표, 의료 및 비의료 분야의 응용을 중심으로 다루며, 새로운 분류 체계를 도입하고 핵심 과제를 규명하며 연구 기회를 제시한다. 주요 결과로는 MRI, CT, 현미경 영상 등 다양한 모odalities에서 고해상도의 실존성 있는 합성 데이터 생성이 가능했으며, 냉동전자현미경 시뮬레이션에서는 최소 10.8Å 해상도를 달성했고, 혈관 및 모발 구조의 합성에서는 실제와 구분되지 않을 정도의 높은 현실감을 구현하였다.

ABSTRACT

With the massive proliferation of data-driven algorithms, such as deep learning-based approaches, the availability of high-quality data is of great interest. Volumetric data is very important in medicine, as it ranges from disease diagnoses to therapy monitoring. When the dataset is sufficient, models can be trained to help doctors with these tasks. Unfortunately, there are scenarios where large amounts of data is unavailable. For example, rare diseases and privacy issues can lead to restricted data availability. In non-medical fields, the high cost of obtaining enough high-quality data can also be a concern. A solution to these problems can be the generation of realistic synthetic data using Generative Adversarial Networks (GANs). The existence of these mechanisms is a good asset, especially in healthcare, as the data must be of good quality, realistic, and without privacy issues. Therefore, most of the publications on volumetric GANs are within the medical domain. In this review, we provide a summary of works that generate realistic volumetric synthetic data using GANs. We therefore outline GAN-based methods in these areas with common architectures, loss functions and evaluation metrics, including their advantages and disadvantages. We present a novel taxonomy, evaluations, challenges, and research opportunities to provide a holistic overview of the current state of volumetric GANs.

연구 동기 및 목표

• 의료 및 비의료 분야에서 실존적인 3D 부피 데이터를 생성하는 GAN 기반 방법에 대한 종합적인 개요를 제공하기 위해.
• 부피 GAN에서 사용되는 일반적인 아키텍처, 손실 함수, 평가 지표를 식별하고 분석하기 위해.
• 모달리티, 응용 유형, 데이터 표현 방식을 기반으로 부피 GAN 응용을 분류하는 데 새로운 분류 체계를 개발하기 위해.
• 의료 영상에서의 데이터 부족, 개인정보 문제, 높은 데이터 확보 비용 등의 과제를 부각하기 위해.
• 합성 부피 데이터 생성 분야의 개방형 연구 기회와 향후 방향성 개선을 위한 전략을 제시하기 위해.

제안 방법

• 구조화된 검색 및 선별 프로토콜를 통해 선정된 102篇의 GAN 기반 3D 부피 데이터 생성 관련 논문에 대한 체계적 문헌 리뷰.
• 응용 유형 기반 방법 분류: 재구성(2D→3D, 저해상도→고해상도), 세분화, 분류, 일반적 데이터 생성.
• cGAN, WGAN, PGGAN, CycleGAN, 3D-UNet 기반 모델 포함 25종의 다양한 GAN 아키텍처 분석으로, 3D 컨볼루션 및 생성적 적대적 학습에 중점을 두었다.
• 18종의 손실 함수 분석(예: 적대적 손실, 인지적 손실, 사이클 일致성 손실, 재구성 손실) 및 SSIM, PSNR, FID 등 14종의 평가 지표 분석.
• 모달리티, 응용, 데이터 유형(예: MRI, CT, 현미경 영상, 합성 데이터)을 기반으로 메타 분류 체계를 구축하여 연구 결과를 통합.
• 의료 분야(예: 뇌, 폐, 심장, 세포핵) 및 비의료 분야(예: 다공성 매체, CAD, 지질 영상)의 사례 연구를 포함하여 방법론의 다양성을 입증.

실험 결과

연구 질문

• RQ1 3D 부피 데이터 생성에서 주로 사용되는 GAN 아키텍처는 무엇이며, 의료 및 비의료 응용 간에 어떤 차이를 보이나?
• RQ2 생성된 3D 부피 데이터의 현실성과 정확성을 보장하는 데 가장 효과적인 손실 함수와 평가 지표는 무엇인가?
• RQ3 현재 GAN 기반 방법은 의료 영상에서의 데이터 부족, 개인정보 문제, 높은 확보 비용 등의 과제를 어떻게 해결하고 있는가?
• RQ4 GAN을 활용한 고품질 합성 3D 부피 데이터 생성에서의 주요 제약 사항과 열려 있는 과제는 무엇인가?
• RQ5 특히 일반화 능력 향상과 임상 적용 측면에서 3D 부피 GAN 분야의 최신 기술을 발전시키기 위한 연구 기회는 무엇인가?

주요 결과

• 102개의 관련 연구를 식별하였으며, 이 중 68%는 의료 응용에 집중되어 있었고, 특히 MRI, CT, 현미경 영상 분야에서 높은 비중을 차지했으며, 나머지 32%는 CAD, 지질 영상, 다공성 매체 등 비의료 분야에서 활용되었다.
• cGAN, WGAN, CycleGAN 기반 아키텍처가 가장 널리 사용되었으며, 3D-UNet 및 3D-DCGAN 변종은 재구성 및 세분화 작업에서 뛰어난 성능을 보였다.
• CryoGAN은 합성 냉동전자현미경 데이터에서 10.8Å 해상도를 달성하여 생물 분자의 구조 생성에서 높은 현실감을 입증하였다.
• SpCycleGAN 및 cGAN 기반 모델은 신경세포 및 신장 세포의 비정상적인 형태의 세포핵에 대해 세분화 정확도를 향상시켰다.
• GAN을 통해 생성된 합성 혈관은 실제 혈관과 구분되지 않아 혈관 구조 합성에서 매우 높은 현실감을 입증하였다.
• 표준화된 평가 프로토콜의 부족이 심각한 격차로 드러났으며, FID, SSIM, PSNR가 가장 흔히 사용되었지만 연구 간 일관성이 떨어졌다.