[论文解读] Direct Diffusion Bridge using Data Consistency for Inverse Problems

Hyungjin Chung, Jeongsol Kim+1 more|arXiv (Cornell University)|May 31, 2023

Numerical methods in inverse problems被引用 4

一句话总结

该论文提出了一种无需训练的推理方法——数据一致直接扩散桥（CDDB），通过在反向采样过程中注入梯度步骤，强制扩散基逆问题求解器满足数据一致性。通过统一现有直接扩散桥（DDB）方法并引入无需微调的一致性提升机制，CDDB在图像超分辨率和JPEG恢复等多样化逆问题上，实现了感知质量和失真度量的最先进性能，将帕累托前沿推向最优重建质量区域。

ABSTRACT

Diffusion model-based inverse problem solvers have shown impressive performance, but are limited in speed, mostly as they require reverse diffusion sampling starting from noise. Several recent works have tried to alleviate this problem by building a diffusion process, directly bridging the clean and the corrupted for specific inverse problems. In this paper, we first unify these existing works under the name Direct Diffusion Bridges (DDB), showing that while motivated by different theories, the resulting algorithms only differ in the choice of parameters. Then, we highlight a critical limitation of the current DDB framework, namely that it does not ensure data consistency. To address this problem, we propose a modified inference procedure that imposes data consistency without the need for fine-tuning. We term the resulting method data Consistent DDB (CDDB), which outperforms its inconsistent counterpart in terms of both perception and distortion metrics, thereby effectively pushing the Pareto-frontier toward the optimum. Our proposed method achieves state-of-the-art results on both evaluation criteria, showcasing its superiority over existing methods. Code is available at https://github.com/HJ-harry/CDDB

研究动机与目标

• 识别并解决现有直接扩散桥（DDB）方法在逆问题中缺乏数据一致性的关键问题。
• 在单一理论框架下统一基于薛定谔桥、持续退化和OU-SDE的分散DDB方法。
• 开发一种无需微调即可强制实现数据一致性的改进推理流程，从而提升重建保真度和感知质量。
• 证明所提方法在多种逆成像任务中优于现有DDB和基于扩散的求解器。

提出的方法

• 提出一种统一的直接扩散桥（DDB）框架，其中反向扩散过程通过时间条件去噪器直接从退化测量映射到干净图像。
• 引入一种无需训练的推理流程，通过在反向采样过程中向测量方向应用梯度步骤来强制实现数据一致性，而无需修改预训练模型。
• 将CDDB推导为现有扩散采样方法（如DDS和DPS）的泛化，将其原理扩展至DDB设置。
• 采用一种一致的采样策略，通过基于高斯似然的正则化最小化当前样本与测量值之间的距离。
• 提出CDDB-deep作为扩展，利用更深层梯度，使方法可应用于标准梯度不可行的非线性逆问题（如JPEG恢复）。
• 使用干净数据与退化数据的凸组合来定义DDB中的前向扩散过程，确保从干净数据到测量数据的平滑退化。

实验结果

研究问题

• RQ1 如何在不需模型微调或重训练的前提下，强制实现直接扩散桥（DDB）方法中的数据一致性？
• RQ2 强制实现数据一致性在基于扩散的逆问题中，对感知质量与重建失真之间的权衡改善程度如何？
• RQ3 所提方法能否在包括线性和非线性退化模型在内的多样化逆问题上实现泛化？
• RQ4 在FID和PSNR度量上，CDDB与现有最先进基于扩散的求解器相比性能如何？
• RQ5 CDDB框架能否扩展至非高斯或非线性逆问题（如JPEG恢复），其中梯度计算并不直接可行？

主要发现

• CDDB在多个逆问题上（包括4倍超分辨率和JPEG恢复）均实现了FID和PSNR指标的最先进性能。
• 在SR4x-bicubic任务中，CDDB相比基线方法I2SB（一种DDB方法）将PSNR提升最高达0.5 dB，FID降低超过10%，展现出更优的感知与失真权衡。
• CDDB能有效去除重建中的噪声，而I2SB则倾向于传播噪声（尤其是在背景区域），凸显其鲁棒性。
• 即使在仅使用无噪声数据训练的情况下，该方法仍表现出强大的抗噪能力，原因在于一致性步骤中嵌入的隐式高斯似然模型。
• CDDB-deep通过利用更深层梯度近似，使方法能有效应用于标准梯度方法失效的非线性逆问题（如JPEG恢复）。
• 重建质量的帕累托前沿显著向最优区域移动，CDDB在所有基线方法中实现了更低失真下的更高感知质量。