[論文レビュー] Image Restoration Through Generalized Ornstein-Uhlenbeck Bridge

Conghan Yue, Zhengwei Peng+4 more|arXiv (Cornell University)|Dec 16, 2023

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本稿では、一般化オーランシュタイン・ウーレンバック過程の平均回帰特性とドーブのh変換を活用し、低品質から高品質な画像への点対点写像を効率的かつエンドツーエンドに学習可能にする、拡散ベースの画像修復モデルである一般化オーランシュタイン・ウーレンバックブリッジ（GOUB）を提案する。この手法は、最小限の計算コストで最適な拡散を実現することで、雨消し、超解像、穴埋め修復などの画像修復タスクで最先端の性能を達成する。

ABSTRACT

Diffusion models exhibit powerful generative capabilities enabling noise mapping to data via reverse stochastic differential equations. However, in image restoration, the focus is on the mapping relationship from low-quality to high-quality images. Regarding this issue, we introduce the Generalized Ornstein-Uhlenbeck Bridge (GOUB) model. By leveraging the natural mean-reverting property of the generalized OU process and further eliminating the variance of its steady-state distribution through the Doob's h-transform, we achieve diffusion mappings from point to point enabling the recovery of high-quality images from low-quality ones. Moreover, we unravel the fundamental mathematical essence shared by various bridge models, all of which are special instances of GOUB and empirically demonstrate the optimality of our proposed models. Additionally, we present the corresponding Mean-ODE model adept at capturing both pixel-level details and structural perceptions. Experimental outcomes showcase the state-of-the-art performance achieved by both models across diverse tasks, including inpainting, deraining, and super-resolution. Code is available at \url{https://github.com/Hammour-steak/GOUB}.

研究の動機と目的

• 低品質から高品質な画像への効率的でタスクに依存しない画像修復写像の学習という課題に取り組む。
• 反復的近似や非最適な拡散経路に依存する既存のブリッジモデルの限界を克服する。
• GOUBモデルにおける特殊ケースの特定を通じて、既存のさまざまなブリッジモデルを一つの数学的枠組みで統一する。
• 画像の画素レベルおよび構造的忠実度を向上させるパラメータ化機構を開発する。
• 固定端を持つ拡散過程における最尤推定に基づくエンドツーエンド学習を可能にする。

提案手法

• GOUBモデルは、高品質な画像から低品質な画像への平均回帰を自然に示す一般化オーランシュタイン・ウーレンバック（GOU）過程を前向きの拡散過程として用いる。
• ドーブのh変換を適用してGOU過程の定常分散を調整し、高品質および低品質な画像分布間の正確なブリッジを実現する。
• 逆過程は最尤推定を介して導出され、タスク固有の事前知識や劣化行列を必要とせずエンドツーエンド学習が可能になる。
• GOUBのパラメータ化に基づく新しいMean-ODEモデルが導入され、画素レベルの詳細および構造的一致性の捉えを強化する。
• SDE形式のフレームワークはFokker-Planck方程式から導出され、ドリフトおよび拡散係数はスコアマッチングにより最適化される。
• このフレームワークは、既存のブリッジモデルを特殊ケースとして統一しており、数学的最適性と計算効率性を示している。

Figure 1: The overview of the proposed image restoration GOUB. It can be observed that the GOU process is capable of transferring High Quality (HQ) into noisy Low Quality (LQ). Additionally, through the application of h -transform, minor adjustments can be made to the entire process, enabling the GO

実験結果

リサーチクエスチョン

• RQ1 タスク固有の事前知識や反復的精緻化を必要としない拡散ベースのモデルが、最適かつエンドツーエンドの画像修復を達成できるか？
• RQ2 一般化オーランシュタイン・ウーレンバック過程の平均回帰特性が、効率的な点対点画像マッピングをどのように実現するか？
• RQ3 既存のブリッジモデルと提案されたGOUBフレームワークとの間の数学的関係は何か？
• RQ4 再パラメータ化されたODEモデル（Mean-ODE）は、標準的な拡散モデルに比べて、微細な画像ディテールおよび構造的認識をより効果的に捉えられるか？
• RQ5 GOUBモデルは、多様な画像修復ベンチマークで最先端の性能を達成するか？

主な発見

• GOUBモデルは、雨消しのためのRain100H、超解像のためのDIV2K、穴埋め修復のためのCelebA-HQを含む、複数の画像修復ベンチマークで最先端の性能を達成した。
• Mean-ODEバージョンは、標準的な拡散ベースラインと比較して、画素レベルのディテールおよび構造的一致性の保持において優れた能力を示した。
• すべての既存ブリッジモデルがGOUBフレームワークの特殊ケースであることが示され、その数学的一般性と統合的力が裏付けられた。
• 反復的サンプリングや分類器ガイドランスを必要とせず、最尤推定に基づく効率的な学習が可能になった。
• 実験的結果により、提案された拡散経路の最適性が確認され、先行手法と比較してコストは低く、性能は優れていることが示された。
• タスク固有の劣化モデルを必要とせず、タスク間で汎用化可能であり、実用性とスケーラビリティが向上した。

Figure 2: Qualitative comparison of the visual results of different inpainting methods on the CelebA-HQ datasets.