[论文解读] MRI to PET Cross-Modality Translation using Globally and Locally Aware GAN (GLA-GAN) for Multi-Modal Diagnosis of Alzheimer's Disease

Apoorva Sikka, Skand+3 more|arXiv (Cornell University)|Aug 4, 2021

Cell Image Analysis Techniques被引用 23

一句话总结

该论文提出GLA-GAN，一种基于生成对抗网络（GAN）的新框架，用于从结构磁共振成像（MRI）扫描合成氟代脱氧葡萄糖（FDG）正电子发射断层扫描（PET）图像，以提升多模态阿尔茨海默病（AD）诊断效果。通过在多路径架构中结合全局结构感知与局部纹理建模，并融合对抗损失、L1损失、多尺度结构相似性（MS-SSIM）损失以及基于感兴趣区域（ROI）的损失，GLA-GAN生成了高质量的PET图像，显著提升了最先进的方法在AD分类任务中的准确率。

ABSTRACT

Medical imaging datasets are inherently high dimensional with large variability and low sample sizes that limit the effectiveness of deep learning algorithms. Recently, generative adversarial networks (GANs) with the ability to synthesize realist images have shown great potential as an alternative to standard data augmentation techniques. Our work focuses on cross-modality synthesis of fluorodeoxyglucose~(FDG) Positron Emission Tomography~(PET) scans from structural Magnetic Resonance~(MR) images using generative models to facilitate multi-modal diagnosis of Alzheimer's disease (AD). Specifically, we propose a novel end-to-end, globally and locally aware image-to-image translation GAN (GLA-GAN) with a multi-path architecture that enforces both global structural integrity and fidelity to local details. We further supplement the standard adversarial loss with voxel-level intensity, multi-scale structural similarity (MS-SSIM) and region-of-interest (ROI) based loss components that reduce reconstruction error, enforce structural consistency at different scales and perceive variation in regional sensitivity to AD respectively. Experimental results demonstrate that our GLA-GAN not only generates synthesized FDG-PET scans with enhanced image quality but also superior clinical utility in improving AD diagnosis compared to state-of-the-art models. Finally, we attempt to interpret some of the internal units of the GAN that are closely related to this specific cross-modality generation task.

研究动机与目标

• 为解决PET成像获取受限的问题，实现从MRI到FDG-PET扫描的跨模态合成。
• 提升合成PET图像在阿尔茨海默病准确诊断中的临床实用性。
• 开发一种生成模型，以在跨模态转换中同时保留全局解剖结构与细微的局部组织细节。
• 通过融合体素级强度、结构相似性和感兴趣区域敏感性的多组件损失函数，提升图像保真度与诊断相关性。
• 解释GAN内部表征，识别与AD病理相关的生物学上有意义的特征。

提出的方法

• 提出一种多路径GAN架构，包含独立的全局与局部生成器分支，以在MRI到PET的转换中建模大尺度解剖结构与细粒度纹理。
• 引入组合损失函数，包含对抗损失、L1（体素级强度）损失、多尺度结构相似性（MS-SSIM）损失以及基于感兴趣区域（ROI）的损失，以提升结构与上下文保真度。
• 使用全局生成器以保持整体脑形态，同时利用子网络的局部生成器捕捉特定脑区的详细纹理模式。
• 采用在多个尺度上评估真实与生成PET图像的判别器，以确保输出图像的真实感。
• 在MRI空间中应用线性插值以测试模型泛化能力，并评估不同诊断类别间生成PET图像过渡的平滑性。
• 进行特征可视化以解释GAN内部单元，识别具有高诊断相关性的脑区，如小脑蚓部。

实验结果

研究问题

• RQ1 基于GAN的框架能否有效从MRI扫描中合成高质量的FDG-PET图像，以支持阿尔茨海默病诊断？
• RQ2 在生成器架构中同时引入全局与局部感知是否能提升合成PET图像的质量与诊断实用性？
• RQ3 多损失组件（L1、MS-SSIM、ROI）在多大程度上增强了生成PET图像的结构一致性与对AD病理的区域敏感性？
• RQ4 能否解释GAN的内部特征图，以识别与AD进展相关的生物学相关脑区？
• RQ5 模型在诊断类别间是否表现出良好的泛化能力，表现为插值过程中生成图像的平滑过渡？

主要发现

• GLA-GAN生成的合成FDG-PET图像在图像质量方面优于最先进的方法，该结论得到定量指标与视觉检查的验证。
• MS-SSIM与基于ROI的损失的引入显著提升了结构一致性与区域敏感性，尤其在小脑蚓部等AD早期易受累区域表现突出。
• 特征可视化显示，全局生成器的某些内部单元与AD相关模式（如小脑区域FDG摄取差异）存在强关联。
• 在MRI空间中进行线性插值可生成平滑、无伪影的PET图像过渡，表明模型学习了潜在数据分布而非记忆训练样本。
• 当使用合成PET图像进行分类时，模型在区分阿尔茨海默病与正常认知状态方面实现了更高的诊断准确率，证明其临床实用性得到增强。
• 尽管架构复杂，模型在各类别间仍表现出良好泛化能力，插值过程中分类置信度的渐变变化进一步验证了这一点。