[论文解读] Prior Image-Constrained Reconstruction using Style-Based Generative Models

Varun A. Kelkar, Mark A. Anastasio|arXiv (Cornell University)|Feb 24, 2021

Image Processing Techniques and Applications被引用 7

一句话总结

本文提出了一种新颖的图像重建框架，利用基于风格的生成模型（如StyleGAN）的解耦潜在空间，通过先验图像约束重建过程。通过在潜在空间中固定来自先验图像的特定语义风格，并对剩余风格进行优化，该方法在高度不完整的测量条件下实现了更优的稳定性和准确性，相较于传统的稀疏差分方法和基线生成模型方法，在数值实验中表现更优。

ABSTRACT

Obtaining a useful estimate of an object from highly incomplete imaging measurements remains a holy grail of imaging science. Deep learning methods have shown promise in learning object priors or constraints to improve the conditioning of an ill-posed imaging inverse problem. In this study, a framework for estimating an object of interest that is semantically related to a known prior image, is proposed. An optimization problem is formulated in the disentangled latent space of a style-based generative model, and semantically meaningful constraints are imposed using the disentangled latent representation of the prior image. Stable recovery from incomplete measurements with the help of a prior image is theoretically analyzed. Numerical experiments demonstrating the superior performance of our approach as compared to related methods are presented.

研究动机与目标

• 解决在存在语义相关先验图像时，从高度不完整的成像测量中重建物体的挑战。
• 克服传统稀疏差分模型的局限性，后者假设物体与先验图像之间的差异具有可压缩性，而这一假设在实际中可能不成立。
• 利用基于风格的生成模型的解耦潜在空间，实现有意义的、语义层面的正则化，以提升图像重建质量。
• 在非均匀采样和分布内假设下，为重建过程提供理论上的稳定性保证。
• 在真实和合成数据的压缩感知与磁共振成像（MRI）重建任务中，展示优于现有方法的性能。

提出的方法

• 将图像重建问题表述为在预训练的基于风格的生成模型（如StyleGAN）的解耦潜在空间中的优化问题。
• 计算先验图像的解耦潜在表示，并将特定风格向量（p1, p2）约束为与先验图像的对应风格向量一致。
• 对剩余潜在向量进行优化，以最小化与不完整测量的数据一致性，同时保持语义结构。
• 使用正则化项，以受控的分层方式（粗、中、细尺度）惩罚对先验图像风格向量的偏离。
• 基于生成模型的雅可比矩阵进行理论分析，以确保在测量噪声下的稳定性。
• 采用基于梯度的优化算法实现，单张GPU上约5分钟内收敛。

实验结果

研究问题

• RQ1 能否通过先验图像的解耦潜在空间约束，提升高度不完整成像场景下的重建准确性？
• RQ2 固定哪些风格向量（p1, p2）对重建性能和稳定性有何影响？
• RQ3 所提出的方法是否优于采用稀疏差分惩罚的传统先验图像约束压缩感知（PICCS）方法？
• RQ4 在测量噪声和非均匀采样条件下，重建图像的稳定性可提供何种理论保证？
• RQ5 该方法能否在不同成像模态和语义差异（如肿瘤演变、对比度变化）下保持泛化能力？

主要发现

• 所提出的方法（命名为PICGM，即先验图像约束生成模型）在8倍欠采样条件下，于MRI和合成图像重建任务中，均显著低于基线方法的RMSE。
• 该方法对先验图像与真实值之间的错位具有鲁棒性，在不同错位配置下均保持稳定性能。
• 当选择错误的风格向量组（p1, p2）时，RMSE中位数约下降10%，表明对风格选择敏感，但仍保持合理性能。
• 理论分析表明，当生成模型在潜在解处的雅可比矩阵表现良好时，可保证重建的稳定性，从而在一定程度上实现对幻觉的优雅失败。
• 该方法优于标准压缩感知方法（采用稀疏差分先验）和标准GAN基重建方法，尤其在物体与先验图像在非稀疏方式上存在差异时表现更优。
• 通过固定来自先验图像的风格向量，实现了有意义的语义控制，如保留肿瘤特征或对比度特性，而标准方法无法捕捉此类语义信息。