[論文レビュー] A Unified Conditional Framework for Diffusion-based Image Restoration

Yi Zhang, Xiaoyu Shi+4 more|arXiv (Cornell University)|May 31, 2023

Image and Signal Denoising Methods被引用数 11

ひとこと要約

本論文は、Adaptive Kernel Guidance Module を介して複数ソースの条件付けをすべての拡散ブロックに統合する、画像復元の統一条件付き拡散フレームワークを提案し、高解像度出力のためのインターステップパッチ分割戦略を備える。

ABSTRACT

Diffusion Probabilistic Models (DPMs) have recently shown remarkable performance in image generation tasks, which are capable of generating highly realistic images. When adopting DPMs for image restoration tasks, the crucial aspect lies in how to integrate the conditional information to guide the DPMs to generate accurate and natural output, which has been largely overlooked in existing works. In this paper, we present a unified conditional framework based on diffusion models for image restoration. We leverage a lightweight UNet to predict initial guidance and the diffusion model to learn the residual of the guidance. By carefully designing the basic module and integration module for the diffusion model block, we integrate the guidance and other auxiliary conditional information into every block of the diffusion model to achieve spatially-adaptive generation conditioning. To handle high-resolution images, we propose a simple yet effective inter-step patch-splitting strategy to produce arbitrary-resolution images without grid artifacts. We evaluate our conditional framework on three challenging tasks: extreme low-light denoising, deblurring, and JPEG restoration, demonstrating its significant improvements in perceptual quality and the generalization to restoration tasks.

研究の動機と目的

• 平均化されたぼやけた結果を回避するために、復元タスクにおける拡散確率モデル（DPMs）の利用を動機づける。
• 劣化入力と補助情報を各拡散ブロックへ統合する、統一的な条件付けフレームワークを提案する。
• 空間ガイダンスを提供し、拡散過程で残差をモデル化する軽量な初期予測器を設計する。
• Adaptive Kernel Guidance Module (AKGB) を開発し、複数ソースの手がかりに基づいて空間的に適応するカーネルを生成する。
• インターステップのパッチ分割戦略により、グリッドアーチファクトのない高解像度画像復元を実現する。

提案手法

• 軽量な UNet を初期予測器として用い、粗い復元ガイダンスを生成する。
• 劣化入力と補助的なスカラー情報を各拡散ブロックへ埋め込み、空間的に適応した条件付けを行う。
• 空間的およびスカラー情報を統合して位置ごとのカーネル基底と動的カーネルを生成する Adaptive Kernel Guidance Module (AKGB) を導入する。
• 拡散モデルが初期予測器の出力に対する残差を学習することによる残差モデリングを適用する。
• パッチ格子アーチファクトのない任意解像度の画像復元を可能にするインターステップのパッチ分割戦略を提案する。

実験結果

リサーチクエスチョン

• RQ1 複数ソースの条件情報を拡散ブロックへ効果的に統合して復元を実現できるか。
• RQ2 空間的に適応した条件付けは、従来の連結や単純な条件付け戦略より知覚品質を向上させるか。
• RQ3 パッチ分割戦略を拡散ステップに組み込むことで、グリッドアーティファクトなしに高解像度の画像復元を実現できるか。
• RQ4 提案フレームワークは、極端な低照度ノイズ除去、ブレ除去、JPEG アーティファクト復元タスクでどのように性能を示すか。

主な発見

• 提案フレームワークは、極端な低照度ノイズ除去、ブレ除去、JPEG 復元で強力な回帰ベースラインおよび最近の拡散ベースモデルよりも知覚品質が高い。
• Adaptive Kernel Guidance Module は位置ごとに動的カーネルを生成でき、空間的適応性と条件付けの有効性を向上させる。
• インターステップのパッチ分割はアーティファクトのない高解像度出力を実現し、パッチベース手法に共通する境界不整合を解消する。
• アブレーション研究は、初期の空間ガイダンス、動的カーネル注入、条件の適切な統合が性能向上に重要であることを示す。
• 各タスクを通じて、さまざまな復元シナリオへの良好な一般化を示す。