[论文解读] Bidirectional Mapping Generative Adversarial Networks for Brain MR to PET Synthesis

Shengye Hu, Baiying Lei+4 more|arXiv (Cornell University)|Aug 8, 2020

Generative Adversarial Networks and Image Synthesis参考文献 40被引用 5

一句话总结

本文提出双向映射生成对抗网络（BMGAN），一种3D端到端框架，通过双向映射机制联合优化图像上下文与潜在向量，实现从MR扫描合成逼真且多样化的脑部PET图像。该方法在定量指标、视觉质量及诊断分类性能方面均优于当前最先进的跨模态图像合成模型。

ABSTRACT

Fusing multi-modality medical images, such as MR and PET, can provide various anatomical or functional information about human body. But PET data is always unavailable due to different reasons such as cost, radiation, or other limitations. In this paper, we propose a 3D end-to-end synthesis network, called Bidirectional Mapping Generative Adversarial Networks (BMGAN), where image contexts and latent vector are effectively used and jointly optimized for brain MR-to-PET synthesis. Concretely, a bidirectional mapping mechanism is designed to embed the semantic information of PET images into the high dimensional latent space. And the 3D DenseU-Net generator architecture and the extensive objective functions are further utilized to improve the visual quality of synthetic results. The most appealing part is that the proposed method can synthesize the perceptually realistic PET images while preserving the diverse brain structures of different subjects. Experimental results demonstrate that the performance of the proposed method outperforms other competitive cross-modality synthesis methods in terms of quantitative measures, qualitative displays, and classification evaluation.

研究动机与目标

• 解决临床环境中因成本、辐射暴露及可用性有限导致的PET影像数据稀缺问题。
• 克服现有基于GAN的方法生成的合成PET图像模糊或多样性不足的局限性。
• 在合成的PET图像中保留个体特异性的脑部结构多样性，以增强诊断相关性。
• 通过先进的生成建模方法，提升MR到PET图像合成的感知真实感与定量保真度。
• 证明合成PET图像可有效用于下游临床分类任务。

提出的方法

• 提出一种3D端到端的BMGAN框架，利用双向映射机制将PET语义先验嵌入潜在空间，实现MR到PET图像的合成。
• 采用3D DenseU-Net生成器架构，以捕捉分层空间特征并提升重建质量。
• 集成多种目标函数，包括对抗损失、循环一致性损失与感知损失，以增强视觉真实感与结构保真度。
• 采用双向映射策略，实现在潜在空间中源域（MR）与目标域（PET）之间的相互优化，提升特征解耦与多样性。
• 使用ADNI数据库中配对的MR与PET扫描子集进行模型训练，以确保解剖一致性。
• 利用预训练的VGG-16分类器，在二分类任务（阿尔茨海默病 vs. 正常）中评估合成PET图像的诊断实用性。

实验结果

研究问题

• RQ1 基于GAN的框架能否从脑部MR扫描中生成具有感知真实感且结构多样的PET图像？
• RQ2 与标准GAN相比，双向潜在空间映射在提升合成PET图像的多样性与解剖保真度方面有何优势？
• RQ3 合成PET图像在多大程度上保留了不同个体间特有的脑部结构？
• RQ4 合成PET图像能否在下游诊断任务（如阿尔茨海默病分类）中实现具有竞争力的性能？
• RQ5 所提出的BMGAN在定量与定性层面与现有最先进的跨模态图像合成方法相比如何？

主要发现

• 所提出的BMGAN在均方误差（MAE）上最低，峰值信噪比（PSNR）最高，表明其具有更优的图像重建质量。
• BMGAN在多尺度结构相似性（MS-SSIM）上得分最高，弗雷切特起始距离（FID）最低，证明其生成的PET图像兼具高结构保真度与高多样性。
• 在定性视觉比较中，BMGAN优于现有模型（如3D FCN、GAN、cGAN与CycleGAN），合成图像与真实PET扫描高度相似。
• 差异图显示最小的伪影与一致的强度模式，证实了准确的空间对齐与结构保留。
• 在二分类任务（阿尔茨海默病 vs. 正常）中，BMGAN生成的合成PET图像获得了最高的受试者工作特征曲线下面积（AUC），证明其具有诊断相关性。
• 结果表明，BMGAN可作为临床应用中真实PET数据稀缺时的有效数据增强工具。