[論文レビュー] Denoising Diffusion Models for Plug-and-Play Image Restoration

Yuanzhi Zhu, Kai Zhang+5 more|arXiv (Cornell University)|May 15, 2023

Advanced Image Processing Techniques被引用数 9

ひとこと要約

DiffPIR は拡散モデルを HQS ベースの画像復元にプラグアンドプレイのデノイジング priors として統合し、効率的なサンプリング（≤100 NFEs）で超解像、ブラー除去、インペインティングにおいて最先端の結果を達成します。

ABSTRACT

Plug-and-play Image Restoration (IR) has been widely recognized as a flexible and interpretable method for solving various inverse problems by utilizing any off-the-shelf denoiser as the implicit image prior. However, most existing methods focus on discriminative Gaussian denoisers. Although diffusion models have shown impressive performance for high-quality image synthesis, their potential to serve as a generative denoiser prior to the plug-and-play IR methods remains to be further explored. While several other attempts have been made to adopt diffusion models for image restoration, they either fail to achieve satisfactory results or typically require an unacceptable number of Neural Function Evaluations (NFEs) during inference. This paper proposes DiffPIR, which integrates the traditional plug-and-play method into the diffusion sampling framework. Compared to plug-and-play IR methods that rely on discriminative Gaussian denoisers, DiffPIR is expected to inherit the generative ability of diffusion models. Experimental results on three representative IR tasks, including super-resolution, image deblurring, and inpainting, demonstrate that DiffPIR achieves state-of-the-art performance on both the FFHQ and ImageNet datasets in terms of reconstruction faithfulness and perceptual quality with no more than 100 NFEs. The source code is available at {\url{https://github.com/yuanzhi-zhu/DiffPIR}}

研究の動機と目的

• 判別的なガウスデノイジャを用いた従来のデノイザに代わり、生成的拡散 priors を用いて柔軟なプラグアンドプレイ画像復元を動機付け、実現する。
• データ忠実性項と prior 項を HQS により分離し、一般的な劣化フレームワークで拡散ベース priors を可能にする。
• 各逆拡散ステップで測定値を取り入れる効率的な拡散サンプリング法を開発する。
• FFHQ および ImageNet における複数の IR タスクで最先端の復元忠実性と知覚品質を実証する。
• DiffPIR 復元の効率性と多様性を示す分析と破壊的な要因のアブレーションを提供する。

提案手法

• HQS を用いて最適化を prior-距離デノイジングサブ問題とデータ整合性近傍サブ問題に分割する。
• 拡散モデルを生成的デノイザ priors として扱い、prior サブ問題を z_k ≈ x_k + ((1−ᾱ_t)/ᾱ_t) s_θ(x_t,t)（s_θ はスコアネットワーク）として解く。
• 測定 y を x̂_0^(t)(y) が劣化モデル H(x) と測定 y を満たすように、解析的または一階近傍法の近傍解でデータ近傍サブ問題を解いて x̂_0^(t) を得る。
• DDIM スタイルの逆拡散ステップ内で測定 y を組み込み、x_t から x_{t−1} を x̂_0^(t)(y) と補正ノイズ項を用いて生成する。
• サンプリング中の injected ノイズを調整するノイズバランス超参数 ζ を導入し、忠実性と多様性のトレードオフを制御可能にする。
• 推定された x̂_0^(t)(y) と予測ノイズ ε̂、新鮮なガウスノイズをブレンドして各逆ステップを完了する、閉形式に近いサンプリング更新を提供する。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルは HQS 内で一般的な画像復元タスクに対する効果的なプラグアンドプレイデノイザーになり得るか。
• RQ2 DDIM 風の更新を介して拡散ステップに測定を組み込むことは SR、ブラー除去、インペインティングにおいて高速・忠実・知覚品質の高い復元を可能にするか。
• RQ3 DiffPIR は PSNR、FID、LPIPS において既存の拡散ベースおよび判別的デノイザープラグアンドプレイ法と標準データセットでどのように比較されるか。
• RQ4 復元品質と再構成の多様性に対する NFEs および初期化戦略の影響は何か。
• RQ5 訓練不要の事前学習済み拡散モデルは複数の劣化演算子 H に対する多用途の IR priors として généralizable か。

主な発見

• DiffPIR は Gaussian およびモーションブラー、4× SR など FFHQ および ImageNet で、知覚品質を向上させつつ PSNR も競合的である。
• ≤100 NFEs を用いることで、DiffPIR は複数タスク・データセットで拡散ベースおよびプラグアンドプレイ priors を上回る。
• DiffPIR は特に大きなマスクを伴うインペインティングで多様で意味的に整合した再構成を生み出す。
• ノイズなし設定では、DiffPIR は 100 NFEs で競合他社を上回る FID と LPIPS を示し、20 NFEs でも競争力を維持する。
• DDIM ベースの更新による高速サンプリングをサポートし、完全な品質低下なしに NFEs を減らすために部分的にノイズの状態から開始できる。
• 解析は、サンプリング時にバランスパラメータ ζ が多様性と忠実性を制御し、制御可能な復元成果を可能にすることを示している。