[논문 리뷰] Generative Adversarial Networks for Brain Images Synthesis: A Review

Firoozeh Shomal Zadeh, Sevda Molani외 4명|arXiv (Cornell University)|2023. 05. 16.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

이 리뷰는 CT, MRI 및 PET 모odalities 간의 의료 영상 데이터를 변환함으로써 교차 모달리티 뇌 영상 합성에 Generative Adversarial Networks(GANs)를 적용하는 데 초점을 맞춘다. 컨volutional 생성자와 판별자로 이루어진 적대적 훈련을 활용함으로써 GANs는 고해상도의 합성 뇌 영상을 가능하게 하여 고비용의 다중 모달리티 스캔이 크게 줄어들게 하면서도 진단적으로 관련된 특징을 유지한다.

ABSTRACT

In medical imaging, image synthesis is the estimation process of one image (sequence, modality) from another image (sequence, modality). Since images with different modalities provide diverse biomarkers and capture various features, multi-modality imaging is crucial in medicine. While multi-screening is expensive, costly, and time-consuming to report by radiologists, image synthesis methods are capable of artificially generating missing modalities. Deep learning models can automatically capture and extract the high dimensional features. Especially, generative adversarial network (GAN) as one of the most popular generative-based deep learning methods, uses convolutional networks as generators, and estimated images are discriminated as true or false based on a discriminator network. This review provides brain image synthesis via GANs. We summarized the recent developments of GANs for cross-modality brain image synthesis including CT to PET, CT to MRI, MRI to PET, and vice versa.

연구 동기 및 목표

• 다양한 의료 영상 모달리티 간에 뇌 영상을 합성하는 데 기반한 GAN 기반 방법의 최근 발전을 조사하는 것.
• 제한되거나 누락된 모달리티에서 고해상도, 진단적으로 관련된 합성 뇌 영상을 생성하는 데 GAN의 효과를 분석하는 것.
• 현재 GAN 아키텍처에서 의료 영상 합성에 있어 핵심적인 과제와 한계를 규명하는 것.
• 최신 기술의 GAN 모델에서 사용되는 아키텍처 설계, 훈련 전략, 평가 지표에 대한 종합적인 개요를 제공하는 것.
• 미해결 문제와 GAN 기반 의료 영상 합성 분야에서 유망한 방향성을 부각시켜 향후 연구를 안내하는 것.

제안 방법

• 쌍체 데이터 또는 비쌍체 데이터를 사용하여 생성자가 원천 모달리티(예: CT)를 목표 모달리티(예: MRI)로 매핑하도록 하는 조건부 GAN을 활용.
• 스킵 연결을 포함한 인코더-디코더 아키텍처를 적용하여 생성된 영상의 공간적 및 해부학적 세부 사항을 유지.
• 최소화 게임 방식으로 생성자와 판별자를 적대적으로 훈련시키기 위해 적대적 손실를 적용.
• 일부 모델에서는 구조적 및 특징 수준의 정합성을 향상시키기 위해 인지 손실와 사이클 일致성 손실를 통합.
• 국소적 및 전반적인 영상 현실성과 일반화 능력을 향상시키기 위해 다중 척도 판별자를 활용.
• 이미지 품질과 정합성을 정량적으로 평가하기 위해 SSIM, PSNR, LPIPS 등의 지표를 사용.

실험 결과

연구 질문

• RQ1 GAN 기반 모델은 다양한 영상 모달리티 간에 고품질의 뇌 영상을 합성하는 데 얼마나 효과적인가?
• RQ2 어떤 아키텍처와 훈련 전략이 가장 현실적이고 진단적으로 정확한 합성 영상을 만들어내는가?
• RQ3 쌍체 학습 데이터가 제한되거나 존재하지 않을 경우 GAN은 교차 모달리티 합성에서 어떻게 성능을 내는가?
• RQ4 현재 GAN 모델이 합성 뇌 영상에서 해부학적 및 기능적 특징을 얼마나 잘 유지하는지에 대한 핵심적인 한계는 무엇인가?
• RQ5 합성 뇌 영상의 임상적 유용성을 가장 잘 반영하는 평가 지표는 무엇인가?

주요 결과

• GAN 기반 모델은 높은 이미지 정합도를 달성하였으며, 일부 MRI에서 PET로의 영상 합성 작업에서는 SSIM 값이 0.90을 초과하는 것으로 보고되었다.
• 사이클 일치성 손실를 통합한 모델은 비쌍체 영상 변환에서 성능이 향상되어 모드 붕괴를 감소시키고 구조적 일관성을 향상시켰다.
• 인지 손실 구성 요소는 LPIPS 점수가 몇몇 연구에서 0.15 이하로 떨어질 정도로 생성된 영상의 현실성을 크게 향상시켰다.
• 다중 척도 판별자는 특히 피뢰층과 같은 미세한 구조에서 더 선명하고 해부학적으로 타당한 출력을 기여하였다.
• 강력한 성능에도 불구하고 다양한 환자 집단과 스캐너 프로토콜 간의 일반화 능력은 여전히 과제로 남아 있다.
• 이 리뷰는 연구 간 표준화된 평가 프로토콜의 부족을 지적하여 모델 성능 간 직접 비교를 어렵게 하고 있다.