Skip to main content
QUICK REVIEW

[论文解读] Hierarchical Integration Diffusion Model for Realistic Image Deblurring

Zheng Chen, Yulun Zhang|arXiv (Cornell University)|May 22, 2023
Advanced Image Processing TechniquesComputer Science被引用 29
一句话总结

HI-Diff 将扩散模型集成到高度压缩的潜在空间,并通过分层整合模块将其先验融入到基于回归的 Transformer 中,在复杂模糊和真实世界数据集上实现最先进的去模糊。

ABSTRACT

Diffusion models (DMs) have recently been introduced in image deblurring and exhibited promising performance, particularly in terms of details reconstruction. However, the diffusion model requires a large number of inference iterations to recover the clean image from pure Gaussian noise, which consumes massive computational resources. Moreover, the distribution synthesized by the diffusion model is often misaligned with the target results, leading to restrictions in distortion-based metrics. To address the above issues, we propose the Hierarchical Integration Diffusion Model (HI-Diff), for realistic image deblurring. Specifically, we perform the DM in a highly compacted latent space to generate the prior feature for the deblurring process. The deblurring process is implemented by a regression-based method to obtain better distortion accuracy. Meanwhile, the highly compact latent space ensures the efficiency of the DM. Furthermore, we design the hierarchical integration module to fuse the prior into the regression-based model from multiple scales, enabling better generalization in complex blurry scenarios. Comprehensive experiments on synthetic and real-world blur datasets demonstrate that our HI-Diff outperforms state-of-the-art methods. Code and trained models are available at https://github.com/zhengchen1999/HI-Diff.

研究动机与目标

  • 在复杂且非均匀模糊下提升图像去模糊,同时更好地保留细节。
  • 利用扩散模型在保持畸变准确性的同时生成有信息量的先验。
  • 通过基于回归的骨干网络,利用分层多尺度融合提升在各种模糊场景下的泛化能力。

提出的方法

  • 使用两阶段训练框架来学习先验特征的高度紧凑潜在表示。
  • 阶段1:潜在编码器将GT图像压缩为紧凑的先验z,并通过分层整合模块(HIM)将其集成到基于 Restormer 的 Transformer 中。
  • 阶段2:训练潜在扩散模型,从高斯噪声生成先验特征z,条件化模糊相关的潜在编码,并通过 HIM 与 Transformer 进行联合训练。
  • 分层整合模块(HIM) 在 Transformer 的中间特征与多尺度先验特征 z1、z2、z3 之间执行交叉注意力,以融合来自多尺度的信息。
  • 潜在扩散模型在高度紧凑的潜在空间中运行(N=16 个 token,C'=256),以降低计算量。
  • 训练目标将去模糊损失(去模糊结果与 GT 之间的 L1)与扩散损失(hat{z} 与 z 之间的 L1)相结合,以使扩散先验与回归骨干对齐。

实验结果

研究问题

  • RQ1如何将扩散先验有效整合到基于回归的去模糊模型中,在不影响畸变基准指标的前提下提升细节重建?
  • RQ2在高度压缩的潜在空间中结合分层多尺度融合来操作扩散模型,是否会提升对真实世界模糊的泛化能力?
  • RQ3扩散先验与 Transformer 的联合训练对去模糊性能和稳定性有何影响?
  • RQ4潜在空间中扩散迭代次数对先验和最终去模糊质量有何影响?

主要发现

  • 与16个基线相比,HI-Diff 在 GoPro、HIDE 和 RealBlur 数据集上实现了最新的 PSNR/SSIM。
  • 在潜在空间中引入扩散先验可使 PSNR 相比基线 Restormer 提升约0.28 dB。
  • 分层多尺度先验整合显著优于单尺度先验(使用单尺度时 PSNR 下降约0.24 dB)。
  • 与仅训练扩散模型相比,扩散模型与 Transformer 的联合训练显著提升性能(约提升 1.51 dB PSNR)。
  • 由于先验维度低,在潜在空间中只需较少的扩散迭代次数(约 T=8)即可。
  • 在 GoPro 训练后,HI-Diff 对 RealBlur-R/J 和 RWBI 展现出较强的泛化能力,超过若干最新方法。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。