[논문 리뷰] MRI to PET Cross-Modality Translation using Globally and Locally Aware GAN (GLA-GAN) for Multi-Modal Diagnosis of Alzheimer's Disease

Apoorva Sikka, Skand외 3명|arXiv (Cornell University)|2021. 08. 04.

Cell Image Analysis Techniques인용 수 23

한 줄 요약

이 논문은 구조적 MRI 스캔에서 플루오로디옥시글루코스(FDG) PET 스캔을 합성하는 데 사용되는 새로운 GAN 기반 프레임워크인 GLA-GAN을 제안한다. 이는 다중 모odal 알츠하이머병(AD) 진료를 향상시키기 위한 것이다. 다중 경로 아키텍처를 통해 전반적인 해부학적 구조 인식과 국소 텍스처 모델링을 통합하고, 적대적 손실, L1 손실, 다중 척도 구조적 유사도(MS-SSIM) 손실 및 ROI 기반 손실을 결합함으로써, 최신 기술 대비 유의미하게 향상된 AD 분류 정확도를 보이는 고해상도 PET 영상을 생성한다.

ABSTRACT

Medical imaging datasets are inherently high dimensional with large variability and low sample sizes that limit the effectiveness of deep learning algorithms. Recently, generative adversarial networks (GANs) with the ability to synthesize realist images have shown great potential as an alternative to standard data augmentation techniques. Our work focuses on cross-modality synthesis of fluorodeoxyglucose~(FDG) Positron Emission Tomography~(PET) scans from structural Magnetic Resonance~(MR) images using generative models to facilitate multi-modal diagnosis of Alzheimer's disease (AD). Specifically, we propose a novel end-to-end, globally and locally aware image-to-image translation GAN (GLA-GAN) with a multi-path architecture that enforces both global structural integrity and fidelity to local details. We further supplement the standard adversarial loss with voxel-level intensity, multi-scale structural similarity (MS-SSIM) and region-of-interest (ROI) based loss components that reduce reconstruction error, enforce structural consistency at different scales and perceive variation in regional sensitivity to AD respectively. Experimental results demonstrate that our GLA-GAN not only generates synthesized FDG-PET scans with enhanced image quality but also superior clinical utility in improving AD diagnosis compared to state-of-the-art models. Finally, we attempt to interpret some of the internal units of the GAN that are closely related to this specific cross-modality generation task.

연구 동기 및 목표

• PET 영상 접근성의 한계를 해결하기 위해 MRI에서 FDG-PET 스캔의 교차 모odal 합성을 가능하게 하기 위해.
• 합성된 PET 영상의 임상적 유용성을 높여 정확한 알츠하이머병 진료를 가능하게 하기 위해.
• 교차 모달 번역 과정에서 전반적인 해부학적 구조와 세밀한 국소 조직 세부 정보를 모두 유지하는 생성 모델을 개발하기 위해.
• 보체 수준 강도, 구조적 유사도, 영역 관심도 감도를 포함한 다성분 손실 함수를 통해 영상 정밀도와 진단 관련성을 향상시키기 위해.
• GAN의 내부 표현을 해석하여 AD 병리와 관련된 생물학적으로 의미 있는 특징을 식별하기 위해.

제안 방법

• MRI에서 PET로의 번역 과정에서 대규모 해부학적 구조와 세밀한 텍스처를 모두 모델링하기 위해 별도의 전역 및 국소 생성자 분지로 구성된 다중 경로 GAN 아키텍처를 제안한다.
• 실제 및 합성된 PET 영상의 다중 척도에서의 품질을 보장하기 위해, 적대적 손실, L1(보체 수준 강도) 손실, 다중 척도 구조적 유사도(MS-SSIM) 손실 및 영역 관심도(ROI) 기반 손실을 조합한 손실 함수를 도입한다.
• 전반적인 뇌 해부학적 형태를 유지하기 위해 전역 생성자를 사용하고, 특정 뇌 영역의 세밀한 텍스처 패턴을 캡처하기 위해 하위 네트워크를 갖춘 국소 생성자를 사용한다.
• 실제 및 합성된 PET 영상의 다중 척도에서의 평가를 위해 다중 척도에서 작동하는 판별자를 적용하여 현실적인 출력 품질을 확보한다.
• 모델 일반화 능력을 테스트하고 진단 클래스 간에 생성된 PET 전환의 매끄러움을 평가하기 위해 MRI 공간에서 선형 보간을 적용한다.
• 내부 GAN 유닛을 해석하고, 체성뇌소부와 같은 뇌 영역처럼 진단 관련성이 높은 영역을 식별하기 위해 특징 시각화를 수행한다.

실험 결과

연구 질문

• RQ1 GAN 기반 프레임워크가 알츠하이머병 진료를 위해 MRI 스캔에서 고해상도 FDG-PET 스캔을 효과적으로 합성할 수 있는가?
• RQ2 생성자 아키텍처에 전역 및 국소 인식 요소를 통합함으로써 합성된 PET 영상의 품질과 진단 유용성이 향상되는가?
• RQ3 L1, MS-SSIM, ROI 등의 다손실 구성 요소가 합성된 PET 영상에서 구조 일관성과 AD 병리에 대한 지역 감도를 어느 정도 향상시키는가?
• RQ4 GAN의 내부 특징 맵을 해석하여 AD 진행과 관련된 생물학적으로 의미 있는 뇌 영역을 식별할 수 있는가?
• RQ5 선형 보간을 통한 MRI 공간에서의 변화가 매끄럽고 실수 없는 생성된 PET 전환을 보이며, 이는 모델이 훈련 샘플을 암기하는 것이 아니라 데이터 분포를 학습했음을 시사하는가?

주요 결과

• GLA-GAN는 정량적 지표와 시각적 검토를 통해 최신 기술 대비 훨씬 뛰어난 영상 품질을 보이는 합성 FDG-PET 스캔을 생성한다.
• MS-SSIM 및 ROI 기반 손실의 통합은 특히 조기 AD에 영향을 받는 것으로 알려진 체성뇌소부와 같은 영역에서 구조 일관성과 지역 감도를 크게 향상시킨다.
• 특징 시각화 결과, 전역 생성자의 일부 내부 유닛이 체성뇌에서의 차별적 FDG 흡수 패턴과 강하게 연관되어 있음을 확인하였다.
• MRI 공간에서의 선형 보간은 생성된 PET 스캔에서 매끄럽고 실수 없는 전환을 유도하며, 이는 모델이 훈련 샘플을 암기하는 것이 아니라 데이터 분포를 학습했다는 것을 시사한다.
• 합성된 PET 스캔을 사용할 경우, 정상 인지 상태와 알츠하이머병을 분류하는 데 있어 모델의 진단 정확도가 향상되어 임상적 유용성이 높아졌다.
• 구조의 복잡성에도 불구하고, 보간 중 분류 신뢰도의 점진적 변화를 통해 모델이 진단 클래스 간에 잘 일반화됨을 확인하였다.