[论文解读] Conditional Variational Autoencoder for Learned Image Reconstruction

Chen Zhang, Riccardo Barbano+1 more|arXiv (Cornell University)|Oct 22, 2021

Medical Imaging Techniques and Applications参考文献 56被引用 6

一句话总结

本文提出了一种条件变分自编码器（cVAE）框架，用于在正电子发射断层扫描（PET）成像中实现不确定性感知的图像重建，利用深度神经网络对给定噪声观测的图像后验分布进行建模。通过整合前向算子并利用算法展开学习隐式先验，该方法实现了点估计与不确定性量化所需的高效采样，在低计数条件下尤其优于最先进方法。

ABSTRACT

Learned image reconstruction techniques using deep neural networks have recently gained popularity, and have delivered promising empirical results. However, most approaches focus on one single recovery for each observation, and thus neglect the uncertainty information. In this work, we develop a novel computational framework that approximates the posterior distribution of the unknown image at each query observation. The proposed framework is very flexible: It handles implicit noise models and priors, it incorporates the data formation process (i.e., the forward operator), and the learned reconstructive properties are transferable between different datasets. Once the network is trained using the conditional variational autoencoder loss, it provides a computationally efficient sampler for the approximate posterior distribution via feed-forward propagation, and the summarizing statistics of the generated samples are used for both point-estimation and uncertainty quantification. We illustrate the proposed framework with extensive numerical experiments on positron emission tomography (with both moderate and low count levels) showing that the framework generates high-quality samples when compared with state-of-the-art methods.

研究动机与目标

• 解决基于深度学习的图像重建中缺乏不确定性量化（UQ）的问题，其中大多数方法仅生成单一的确定性估计。
• 开发一种灵活、数据驱动的框架，对给定噪声观测的未知图像后验分布进行建模，以捕捉固有的不确定性。
• 在无需显式似然或先验分布的情况下，将物理规律（通过前向算子实现）和隐式先验整合到重建过程中。
• 实现学习到的重建特性在不同数据集和成像条件（包括低计数和中等计数PET）之间的可迁移性。
• 通过训练后的前向传播实现计算高效的推理机制，支持从样本集合中同时获得点估计和不确定性度量。

提出的方法

• 利用条件变分自编码器（cVAE）对给定观测的图像后验分布进行建模，将观测作为条件变量。
• 采用算法展开实现cVAE，网络通过迭代方式结合前向算子和潜在噪声样本，逐步优化重建结果。
• 通过概率编码器将潜在空间与观测条件化，从而生成与数据一致的多样化、合理重建结果。
• 使用变分推断目标训练网络，最小化证据下界（ELBO），以近似真实后验分布。
• 将物理前向模型（如PET中的系统矩阵）直接集成到网络架构中，确保与数据形成过程的一致性。
• 从训练好的cVAE生成多个样本以实现不确定性量化，使用样本均值作为点估计，样本方差作为不确定性度量。

实验结果

研究问题

• RQ1 当似然和先验均从数据中隐式学习时，像cVAE这样的深度生成模型能否有效近似图像重建中的后验分布？
• RQ2 所提出的框架在低计数PET成像中处理不确定性的能力如何，此时数据高度噪声且信息贫乏？
• RQ3 该框架在保留训练数据中未出现的新颖特征（如小肿瘤）方面表现如何，表明其在分布外泛化能力？
• RQ4 与纯数据驱动基线相比，前向算子和物理规律的集成在多大程度上提升了重建质量与不确定性校准？
• RQ5 学习到的重建特性是否可在无需微调的情况下跨不同数据集或成像条件实现迁移？

主要发现

• cVAE框架在低计数PET场景中生成了高质量的图像重建，并提供了准确的不确定性估计，尤其在信噪比低的条件下表现优异。
• 即使在训练数据中未包含小肿瘤或大肿瘤，该方法仍能成功重建BrainWeb幻影中的小肿瘤和大肿瘤，展现出强鲁棒性与泛化能力。
• 在极低计数水平下，尽管所有方法均无法完全恢复小肿瘤（因噪声过大），cVAE的重建结果仍保持视觉合理性，且与最先进概率方法（如LGD和GM3）相当。
• cVAE生成样本的方差能有效捕捉不确定性，信号强度较低或处于低计数区域的不确定性更高。
• 与确定性基线方法（如MLEM、TV）相比，该框架在重建质量与不确定性量化方面均表现更优，尤其在具有挑战性的低剂量条件下。
• 通过算法展开与前向算子的集成，网络能够迭代优化重建结果，提升保真度并符合物理约束。