[论文解读] DiracDiffusion: Denoising and Incremental Reconstruction with Assured Data-Consistency

Zalan Fabian, Berk Tınaz+1 more|PubMed|Mar 25, 2023

Topological and Geometric Data Analysis被引用 4

一句话总结

DiracDiffusion 提出了一种基于扩散的新框架，用于解决逆问题，将观测过程建模为随机退化过程，通过反向扩散实现数据一致的重建，无需后处理。通过在采样过程中采用早停策略，该方法实现了感知质量与失真度量之间的灵活权衡，在去模糊和图像修复任务中均取得了最先进性能，PSNR 和 LPIPS 指标显著提升。

ABSTRACT

Diffusion models have established new state of the art in a multitude of computer vision tasks, including image restoration. Diffusion-based inverse problem solvers generate reconstructions of exceptional visual quality from heavily corrupted measurements. However, in what is widely known as the perception-distortion trade-off, the price of perceptually appealing reconstructions is often paid in declined distortion metrics, such as PSNR. Distortion metrics measure faithfulness to the observation, a crucial requirement in inverse problems. In this work, we propose a novel framework for inverse problem solving, namely we assume that the observation comes from a stochastic degradation process that gradually degrades and noises the original clean image. We learn to reverse the degradation process in order to recover the clean image. Our technique maintains consistency with the original measurement throughout the reverse process, and allows for great flexibility in trading off perceptual quality for improved distortion metrics and sampling speedup via early-stopping. We demonstrate the efficiency of our method on different high-resolution datasets and inverse problems, achieving great improvements over other state-of-the-art diffusion-based methods with respect to both perceptual and distortion metrics.

研究动机与目标

• 为解决基于扩散的逆问题求解中的感知-失真权衡问题，其中高感知质量通常以较低的失真度量（如 PSNR）为代价。
• 开发一种方法，确保在整个反向扩散过程中严格保持与原始测量值的一致性，从而消除对事后投影或校正步骤的需求。
• 通过在采样过程中允许早停，实现对重建质量的灵活控制，以感知保真度为代价换取更高的失真度量与更快的推理速度。
• 将前向退化过程建模为随机的、渐进式的图像污染过程，使扩散过程与实际的物理或算法退化机制直接对齐。
• 在 CelebA-HQ 和 ImageNet 数据集上，实现多种高分辨率逆问题（包括去模糊与图像修复）的最先进性能。

提出的方法

• 该方法将前向过程建模为一种随机退化过程，逐步对干净图像进行污染，观测结果为原始信号的噪声版本。
• 通过在相同随机污染动态下进行训练的扩散模型，学习逆转这一特定退化过程，从而确保内在的数据一致性。
• 反向过程通过构造方式保持与原始测量值的一致性，无需额外的投影步骤或迭代校正。
• 该框架通过允许在反向采样轨迹的任意步骤中进行早停，实现对重建质量的灵活控制，以感知质量为代价换取更高的失真度量与更快的推理速度。
• 该方法利用采样过程中逐步添加细节的机制，其中后期步骤细化高频分量，从而实现对最终输出质量的控制。
• 其端到端训练基于退化过程，前向 SDE 显式编码了测量模型，使该方法可直接应用于多种逆问题。

实验结果

研究问题

• RQ1 在特定问题的随机退化过程上进行训练的扩散模型，是否能比标准扩散模型实现更好的数据一致性和失真度量？
• RQ2 在反向采样过程中采用早停策略，如何影响逆问题重建中感知质量与失真度量之间的权衡？
• RQ3 一个统一的反向采样轨迹是否能生成具有不同感知与失真特性的多种重建结果，而无需重新运行采样过程？
• RQ4 将前向退化建模为与实际污染机制相匹配的随机过程，是否能相比通用的高斯噪声添加方式，带来更高的重建保真度？
• RQ5 在高分辨率数据集上，该方法在 PSNR、SSIM 和 LPIPS 指标上，相较于现有基于扩散的逆求解器，性能提升的幅度有多大？

主要发现

• DiracDiffusion 在 CelebA-HQ 和 ImageNet 数据集上的去模糊与图像修复任务中均实现了最先进性能，其在感知质量与失真度量上均优于现有基于扩散的方法。
• 该方法显著提升了 PSNR 得分——最高比基线方法高出 1.5 dB——同时在 LPIPS 指标上保持或提升了感知质量。
• 通过支持早停，该框架使用户能够在感知质量降低的代价下，获得更高失真保真度（如更高 PSNR）的重建结果，且计算开销极低。
• 10 个样本的不确定性图显示重建结果方差较低，表明采样行为稳定且一致，尤其在早停设置下表现突出。
• 该方法在定量指标与视觉质量上均优于强基线方法（如 DPS、DDRM、PnP-ADMM 和 ADMM-TV），尤其在高频细节恢复方面表现优异。
• 该框架在多种逆问题（包括高斯去模糊与图像修复）中表现出鲁棒性，在高分辨率数据上持续实现性能提升。