[논문 리뷰] DUAL-GLOW: Conditional Flow-Based Generative Model for Modality Transfer

Haoliang Sun, Ronak Mehta외 5명|arXiv (Cornell University)|2019. 08. 21.

Generative Adversarial Networks and Image Synthesis참고 문헌 45인용 수 7

한 줄 요약

DUAL-GLOW는 MRI 스캔에서 PET 영상을 고해상도로 합성하는 조건부 플로 기반 생성 모델을 제안한다. 이는 역행성 정규화 플로와 관계 네트워크를 사용하여 모odal 간 조건부 분포를 모델링한다. ADNI 데이터셋에서 최신 기술 성능을 달성하며 날카롭고 진단적으로 의미 있는 합성 PET 영상을 생성하고 뇌 저대사 상태의 연령 조건부 모델링을 가능하게 한다.

ABSTRACT

Positron emission tomography (PET) imaging is an imaging modality for diagnosing a number of neurological diseases. In contrast to Magnetic Resonance Imaging (MRI), PET is costly and involves injecting a radioactive substance into the patient. Motivated by developments in modality transfer in vision, we study the generation of certain types of PET images from MRI data. We derive new flow-based generative models which we show perform well in this small sample size regime (much smaller than dataset sizes available in standard vision tasks). Our formulation, DUAL-GLOW, is based on two invertible networks and a relation network that maps the latent spaces to each other. We discuss how given the prior distribution, learning the conditional distribution of PET given the MRI image reduces to obtaining the conditional distribution between the two latent codes w.r.t. the two image types. We also extend our framework to leverage 'side' information (or attributes) when available. By controlling the PET generation through 'conditioning' on age, our model is also able to capture brain FDG-PET (hypometabolism) changes, as a function of age. We present experiments on the Alzheimers Disease Neuroimaging Initiative (ADNI) dataset with 826 subjects, and obtain good performance in PET image synthesis, qualitatively and quantitatively better than recent works.

연구 동기 및 목표

• 의료 영상에서 MRI에서 PET로의 고정밀도 모odal 전환을 가능하게 하는 플로 기반 생성 모델을 개발하는 것.
• 작은 의료 데이터셋 문제를 해결하기 위해 역행성 플로를 활용해 계산 가능한 우도 추정과 정확한 샘플링을 실현하는 것.
• 연령과 같은 보조 속성에 기반한 조건부 PET 영상 생성을 가능하게 하여 연령 관련 대사 변화를 포착하는 것.
• 생성된 PET 영상의 과학적 유용성을 질병 분류와 같은 후행 작업에서 평가하는 것.
• 신경영상 외의 표준 시각 작업, 예를 들어 스케치에서 이미지로의 변환에까지 이 프레임워크의 일반화 능력을 입증하는 것.

제안 방법

• DUAL-GLOW는 MRI와 PET 영상을 공통 잠재 공간으로 매핑하기 위해 두 개의 역행성 정규화 플로를 사용하여 이중 방향 번역을 가능하게 한다.
• 두 모odal의 잠재 코드 간 조건부 분포를 모델링하기 위해 관계 네트워크를 도입하여 구조적인 교차 모odal 매핑을 가능하게 한다.
• 플로의 역행성 특성을 활용해 공동 잠재 공간 분포를 모델링함으로써 MRI에 조건부한 PET의 조건부 분포를 학습한다. 이는 정확한 우도 계산을 가능하게 한다.
• 측면 정보(예: 연령)에 기반한 플로 조건화를 통해 연령에 따라 달라지는 대사 패턴을 가진 PET 영상의 제어된 합성을 실현한다.
• 표준 변수 변화 규칙을 사용해 로그 우도를 계산함으로써 계산 가능한 학습과 사전 분포에서 정확한 샘플링을 가능하게 한다.
• L2 손실과 인지적 손실을 사용하여 영상 품질과 구조를 유지하면서 ADNI 데이터셋(826명의 환자)에서 엔드 투 엔드로 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 플로 기반 생성 모델은 낮은 데이터 환경에서 MRI 스캔에 조건부한 PET 영상의 분포를 효과적으로 학습할 수 있는가?
• RQ2 모델은 공간적 대사 패턴을 유지하면서 진단적으로 의미 있는 합성 PET 영상을 생성할 수 있는가?
• RQ3 모델은 연령에 기반해 뇌 FDG-PET에서의 연령 관련 저대사 상태를 시뮬레이션할 수 있는가?
• RQ4 DUAL-GLOW의 성능는 기존의 GAN 및 오토인코더 기반 방법에 비해 신경영상 분야의 모달 전환에서 어떻게 비교되는가?
• RQ5 생성된 PET 영상들은 알츠하이머병 분류와 같은 후행 진단 작업을 지원할 수 있는가?

주요 결과

• DUAL-GLOW는 합성 PET 영상에서 알츠하이머병 상태(MCI/AD 대비 정상) 분류 정확도 91%를 달성했으며, 실제 데이터의 94%와 유사한 성능를 보였다.
• 합성 영상에서의 위양성률은 3%로 실제 데이터의 0%보다 略로 높아, 강력하지만 略로 더 덜 보수적인 성능를 나타냈다.
• 모델은 연령 관련 저대사 경향을 성공적으로 포착했으며, 생성된 영상에서 ROI 평균 강도가 50세에서 100세까지 지속적으로 감소하는 경향을 보였다.
• 정량적 분석에서 주요 ROI(예: 전두엽, 후두부 촉수)에서 평균 강도가 연령 증가와 함께 명확한 감소 경향을 보였으며, 알려진 신경퇴행성 패턴과 일치했다.
• 모델은 의료 외 작업으로도 일반화되었으며, UT-Zap50K 및 CelebA 데이터셋에서 스케치와 만화 얼굴에서 현실적인 이미지를 생성했다.
• 역행성 플로의 사용으로 정확한 로그 우도 평가와 정확한 샘플링이 가능해졌으며, 낮은 데이터 환경에서 신뢰할 수 있고 해석 가능한 생성을 지원했다.