[论文解读] DUAL-GLOW: Conditional Flow-Based Generative Model for Modality Transfer

Haoliang Sun, Ronak Mehta+5 more|arXiv (Cornell University)|Aug 21, 2019

Generative Adversarial Networks and Image Synthesis参考文献 45被引用 7

一句话总结

DUAL-GLOW 提出了一种基于条件流的生成模型，利用可逆归一化流和关系网络，从 MRI 扫描中合成高质量的 PET 图像，以建模模态间的条件分布。该方法在 ADNI 数据集上实现了最先进性能，生成了清晰、具有诊断意义的合成 PET 图像，并实现了脑部低代谢的年龄条件建模。

ABSTRACT

Positron emission tomography (PET) imaging is an imaging modality for diagnosing a number of neurological diseases. In contrast to Magnetic Resonance Imaging (MRI), PET is costly and involves injecting a radioactive substance into the patient. Motivated by developments in modality transfer in vision, we study the generation of certain types of PET images from MRI data. We derive new flow-based generative models which we show perform well in this small sample size regime (much smaller than dataset sizes available in standard vision tasks). Our formulation, DUAL-GLOW, is based on two invertible networks and a relation network that maps the latent spaces to each other. We discuss how given the prior distribution, learning the conditional distribution of PET given the MRI image reduces to obtaining the conditional distribution between the two latent codes w.r.t. the two image types. We also extend our framework to leverage 'side' information (or attributes) when available. By controlling the PET generation through 'conditioning' on age, our model is also able to capture brain FDG-PET (hypometabolism) changes, as a function of age. We present experiments on the Alzheimers Disease Neuroimaging Initiative (ADNI) dataset with 826 subjects, and obtain good performance in PET image synthesis, qualitatively and quantitatively better than recent works.

研究动机与目标

• 开发一种基于流的生成模型，实现在医学影像中从 MRI 到 PET 的高保真模态转换。
• 通过利用可逆流实现可 tractable 的似然估计和精确采样，解决小样本医学数据集的挑战。
• 基于辅助属性（如年龄）实现 PET 图像的条件生成，捕捉与年龄相关的代谢变化。
• 评估生成 PET 图像在下游任务（如疾病分类）中的科学实用性。
• 证明该框架在神经影像学之外的通用性，扩展至标准视觉任务（如草图到图像的转换）。

提出的方法

• DUAL-GLOW 使用两个可逆归一化流将 MRI 和 PET 图像映射到共享潜在空间，实现双向转换。
• 引入关系网络以建模两种模态潜在码之间的条件分布，实现结构化的跨模态映射。
• 通过建模联合潜在空间分布，学习给定 MRI 时 PET 的条件分布，利用流的可逆性实现精确的似然计算。
• 通过在流中引入辅助信息（如年龄）实现条件生成，从而可控地合成具有年龄依赖性代谢模式的 PET 图像。
• 框架使用标准的变量变换规则计算对数似然，实现可 tractable 的训练和从先验分布的精确采样。
• 在包含 826 名受试者的 ADNI 数据集上端到端训练模型，使用 L2 损失和感知损失以保持图像质量和结构。

实验结果

研究问题

• RQ1 在低数据环境下，基于流的生成模型能否有效学习给定 MRI 扫描时 PET 图像的条件分布？
• RQ2 该模型能否生成保留空间代谢模式的具有诊断意义的合成 PET 图像？
• RQ3 该模型能否基于年龄进行条件生成，以模拟脑部 FDG-PET 中与年龄相关的低代谢现象？
• RQ4 DUAL-GLOW 在神经影像学模态转换任务中，与现有的 GAN 和自编码器方法相比性能如何？
• RQ5 生成的 PET 图像能否支持下游诊断任务（如阿尔茨海默病分类）？

主要发现

• 在合成 PET 图像上，DUAL-GLOW 对阿尔茨海默病状态（MCI/AD 与 CN）的分类准确率达到 91%，与真实数据上的 94% 相当。
• 合成图像的假阳性率为 3%，略高于真实数据的 0%，表明性能强大但略为不那么保守。
• 该模型成功捕捉了与年龄相关的低代谢趋势，在生成图像中，从 50 岁到 100 岁，平均 ROI 强度持续下降。
• 定量分析显示，关键 ROI（如楔前叶、后扣带皮层）的平均强度随年龄增加呈现明确的下降趋势，与已知的神经退行性变化模式一致。
• 该模型在非医学任务中也表现出泛化能力，成功在 UT-Zap50K 和 CelebA 数据集上从草图和卡通人脸生成逼真图像。
• 使用可逆流实现了精确的对数似然评估和精确采样，支持在低数据环境下可靠且可解释的生成。