[论文解读] Image Restoration Through Generalized Ornstein-Uhlenbeck Bridge

Conghan Yue, Zhengwei Peng+4 more|arXiv (Cornell University)|Dec 16, 2023

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本文提出广义Ornstein-Uhlenbeck桥（GOUB），一种基于扩散的图像恢复模型，利用广义Ornstein-Uhlenbeck过程的均值回归特性及Doob的h变换，实现从低质量到高质量图像的高效端到端点对点映射学习。该方法通过实现计算成本最低的最优扩散路径，在去雨、超分辨率和图像修复等图像恢复任务中达到最先进性能。

ABSTRACT

Diffusion models exhibit powerful generative capabilities enabling noise mapping to data via reverse stochastic differential equations. However, in image restoration, the focus is on the mapping relationship from low-quality to high-quality images. Regarding this issue, we introduce the Generalized Ornstein-Uhlenbeck Bridge (GOUB) model. By leveraging the natural mean-reverting property of the generalized OU process and further eliminating the variance of its steady-state distribution through the Doob's h-transform, we achieve diffusion mappings from point to point enabling the recovery of high-quality images from low-quality ones. Moreover, we unravel the fundamental mathematical essence shared by various bridge models, all of which are special instances of GOUB and empirically demonstrate the optimality of our proposed models. Additionally, we present the corresponding Mean-ODE model adept at capturing both pixel-level details and structural perceptions. Experimental outcomes showcase the state-of-the-art performance achieved by both models across diverse tasks, including inpainting, deraining, and super-resolution. Code is available at \url{https://github.com/Hammour-steak/GOUB}.

研究动机与目标

• 为解决从低质量到高质量图像学习高效、任务无关的图像恢复映射的挑战。
• 克服现有桥模型依赖迭代近似或次优扩散路径的局限性。
• 通过揭示其在GOUB模型中的特例，将各种现有桥模型统一于单一数学框架之下。
• 开发一种参数化机制，以增强恢复图像的像素级和结构保真度。
• 通过在具有固定端点的扩散过程中进行最大似然估计，实现端到端训练。

提出的方法

• GOUB模型采用广义Ornstein-Uhlenbeck（GOU）过程作为前向扩散过程，自然表现出从高质量图像到低质量图像的均值回归特性。
• 通过应用Doob的h变换调整GOU过程的稳态方差，实现高质量与低质量图像分布之间的精确桥接。
• 通过最大似然估计推导反向过程，实现无需任务特定先验或退化矩阵的端到端训练。
• 基于GOUB的参数化，提出一种新型Mean-ODE模型，增强对像素级细节和结构一致性的捕捉能力。
• 通过Fokker-Planck方程推导模型的SDE形式，漂移和扩散系数通过得分匹配进行优化。
• 该框架将现有桥模型统一为特例，证明其数学最优性与计算高效性。

Figure 1: The overview of the proposed image restoration GOUB. It can be observed that the GOU process is capable of transferring High Quality (HQ) into noisy Low Quality (LQ). Additionally, through the application of h -transform, minor adjustments can be made to the entire process, enabling the GO

实验结果

研究问题

• RQ1 基于扩散的模型是否能在无需任务特定先验或迭代优化的情况下，实现最优、端到端的图像恢复？
• RQ2 广义Ornstein-Uhlenbeck过程的均值回归特性如何实现高效的点对点图像映射？
• RQ3 现有桥模型与所提出的GOUB框架之间存在何种数学关系？
• RQ4 重新参数化的ODE模型（Mean-ODE）是否能在捕捉细微图像细节和结构感知方面优于标准扩散模型？
• RQ5 GOUB模型是否在多样化的图像恢复基准上均达到最先进性能？

主要发现

• GOUB模型在多个图像恢复基准上达到最先进性能，包括去雨任务的Rain100H、超分任务的DIV2K，以及图像修复任务的CelebA-HQ。
• 与标准扩散基线相比，Mean-ODE变体在保留像素级细节和结构一致性方面表现出更优能力。
• 所有现有桥模型均被证明是GOUB框架的特例，证实其数学通用性与统一能力。
• 该模型通过最大似然估计实现高效训练，无需迭代采样或分类器引导。
• 实证结果证实所提出的扩散路径具有最优性，其计算成本更低且性能优于先前方法。
• 该方法无需任务特定的退化建模即可在不同任务间泛化，显著提升实用性与可扩展性。

Figure 2: Qualitative comparison of the visual results of different inpainting methods on the CelebA-HQ datasets.