[論文レビュー] PGDiff: Guiding Diffusion Models for Versatile Face Restoration via Partial Guidance

Peiqing Yang, Shangchen Zhou+2 more|arXiv (Cornell University)|Sep 19, 2023

Face recognition and analysis被引用数 9

ひとこと要約

PGDiff は高品質画像特性によって拡散モデルのノイズ除去を部分的に誘導する提案であり、劣化過程のモデリングなしに多用途な顔画像復元を可能にします。

ABSTRACT

Exploiting pre-trained diffusion models for restoration has recently become a favored alternative to the traditional task-specific training approach. Previous works have achieved noteworthy success by limiting the solution space using explicit degradation models. However, these methods often fall short when faced with complex degradations as they generally cannot be precisely modeled. In this paper, we propose PGDiff by introducing partial guidance, a fresh perspective that is more adaptable to real-world degradations compared to existing works. Rather than specifically defining the degradation process, our approach models the desired properties, such as image structure and color statistics of high-quality images, and applies this guidance during the reverse diffusion process. These properties are readily available and make no assumptions about the degradation process. When combined with a diffusion prior, this partial guidance can deliver appealing results across a range of restoration tasks. Additionally, PGDiff can be extended to handle composite tasks by consolidating multiple high-quality image properties, achieved by integrating the guidance from respective tasks. Experimental results demonstrate that our method not only outperforms existing diffusion-prior-based approaches but also competes favorably with task-specific models.

研究の動機と目的

• 特定の劣化過程を仮定せず、拡散モデルを用いた復元を動機づける。
• 望ましい HQ 画像特性をモデル化し、その特性を用いて拡散ノイズ除去をガイドする。
• 複数の HQ 特性からのガイダンスを積み重ねることで複合タスクを可能にする。
• 拡散事前分布ベースの手法に対する優位性を示し、タスク特異モデルと競争力を示す。

提案手法

• バックプロパゲートされた勾配を介してHQ特性に向かって拡散ノイズ除去を制約するために分類器ガイダンスを使用する。
• ガイダンスの有効性を高めるため、動的ガイダンス重みとノイズ除去ステップごとの複数の勾配ステップを導入する。
• 各 HQ 特性をターゲット誘導lossを出力する分類器で表現してガイダンスを提供する。
• 複数の特性からの損失を合計して複雑な劣化に対応することで複合タスクを可能にする。
• さらに品質向上のために知覚損失や対向的損失を任意で組み込む。

Figure 1: Overview of Our PGDiff Framework for Versatile Face Restoration . Here, we take the colorization task as an example to illustrate our inference pipeline. One may refer to Table 1 for the corresponding details ( e.g. , property, classifier, and target) of other tasks. We show that our metho

実験結果

リサーチクエスチョン

• RQ1 高品質な画像特性は明示的な劣化モデリングなしに拡散ベースの復元をガイドできるか？
• RQ2 部分的ガイダンスは均一な顔復元タスクと複合的な顔復元タスクの両方でどのように機能するか？
• RQ3 動的ガイダンスと複数ステップの勾配ガイダンスは出力品質と制御性を向上させるか？
• RQ4 複数のHQ特性をどのように組み合わせて古い写真復元のような複雑な劣化に対処できるか？
• RQ5 PGDiff に知覚的または対向的ガイダンスを追加することの影響は何か？

主な発見

• PGDiff は難易度の高い復元タスクで拡散事前分布ベースのアプローチを上回る。
• PGDiff は多様なタスクでタスク特異モデルと有利に競合する。
• 正規化された重みを用いた動的ガイダンスは従来のガイダンスよりも目標特性への準拠を向上させる。
• ノイズ除去ステップごとの複数の勾配ステップはガイダンスを強化しアーチファクトを減らす。
• 複合ガイダンスは複数のHQ特性を組み合わせることで複雑な劣化の処理を可能にする。
• 知覚的および対向的損失を組み込むと復元品質をさらに高められる。

Figure 2: Comparison on Blind Face Restoration. Input faces are corrupted by real-world degradations. Our PGDiff produces high-quality faces with faithful details. ( Zoom in for best view. )