[论文解读] JPEG Artifact Correction using Denoising Diffusion Restoration Models
本文提出了一种与问题无关的JPEG伪影校正方法，采用去噪扩散恢复模型（DDRM），将伪逆概念推广至JPEG编码/解码等非线性算子。该方法无需微调即可在所有质量因子下实现最先进性能，在低质量JPEG图像上优于专用模型，并可泛化至去量化任务。
Diffusion models can be used as learned priors for solving various inverse problems. However, most existing approaches are restricted to linear inverse problems, limiting their applicability to more general cases. In this paper, we build upon Denoising Diffusion Restoration Models (DDRM) and propose a method for solving some non-linear inverse problems. We leverage the pseudo-inverse operator used in DDRM and generalize this concept for other measurement operators, which allows us to use pre-trained unconditional diffusion models for applications such as JPEG artifact correction. We empirically demonstrate the effectiveness of our approach across various quality factors, attaining performance levels that are on par with state-of-the-art methods trained specifically for the JPEG restoration task.
研究动机与目标
- 为解决现有扩散模型在图像恢复中仅限于线性逆问题的局限性。
- 通过使用预训练的无条件扩散模型，实现对非线性退化模型（如JPEG）的与问题无关的图像恢复。
- 提升在质量因子上的泛化能力，特别是在专用模型失效的低质量JPEG图像上。
- 通过将伪逆概念推广至非线性测量算子（如JPEG编码与解码），将DDRM扩展至非线性算子。
- 在无需任务特定微调的情况下，证明该方法在JPEG伪影校正和图像去量化任务上的有效性。
提出的方法
- 将DDRM中的伪逆算子推广至非线性测量算子，将JPEG编码与解码视为广义逆对。
- 通过用JPEG编码与解码函数替代线性算子及其伪逆，调整DDRM的更新规则。
- 使用预训练的无条件扩散模型与去噪U-Net，从噪声初始化开始迭代优化重建结果。
- 应用混合更新规则，结合去噪预测与基于JPEG解码测量的重建项。
- 在中间扩散步骤（t=300）初始化采样，使用噪声扰动的JPEG图像以提升重建保真度。
- 对每个输入取8个独立样本的平均值以稳定结果并提升定量指标。
实验结果
研究问题
- RQ1DDRM中的伪逆概念能否推广至JPEG伪影校正等非线性逆问题？
- RQ2预训练的无条件扩散模型能否在无需微调的情况下，跨广泛质量因子恢复JPEG压缩图像？
- RQ3与专为JPEG恢复训练的最先进方法相比，该方法在低质量JPEG图像（如QF=1–10）上的表现如何？
- RQ4该框架能否应用于其他非线性逆问题（如图像去量化）？
- RQ5在低数据或分布外设置下，该方法是否比任务专用模型具有更好的泛化能力？
主要发现
- 该方法在PSNR和SSIM指标上达到与近期专为JPEG恢复训练的最先进GAN方法（QGAC）相当的性能。
- 其性能显著优于简单的JPEG解码，且在低质量因子（QF=1–10）上泛化效果良好，而QGAC因缺乏足够训练数据而表现欠佳。
- 该方法可无缝泛化至图像去量化任务，证明其在无需微调的情况下适用于JPEG恢复之外的场景。
- 平均采样（Ours (A)）提升了重建质量，平均输出的指标优于首个样本。
- 率失真曲线显示，该方法在所有质量因子下均保持高性能，表明其鲁棒性与一致性。
- 该方法仅依赖预训练的无条件扩散模型即可实现高保真图像恢复，无需任务特定微调或超参数调优。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。