[論文レビュー] Denoising Diffusion Restoration Models

Bahjat Kawar, Michael Elad+2 more|arXiv (Cornell University)|Jan 27, 2022

Image and Signal Denoising Methods被引用数 240

ひとこと要約

DDRMは、一般的な線形逆問題に対する教師なしの拡散モデルベースの解法であり、事前学習済みの拡散モデルとSVDに基づく問題条件づけを用いて、少ない反復で高品質な画像復元を実現する。

ABSTRACT

Many interesting tasks in image restoration can be cast as linear inverse problems. A recent family of approaches for solving these problems uses stochastic algorithms that sample from the posterior distribution of natural images given the measurements. However, efficient solutions often require problem-specific supervised training to model the posterior, whereas unsupervised methods that are not problem-specific typically rely on inefficient iterative methods. This work addresses these issues by introducing Denoising Diffusion Restoration Models (DDRM), an efficient, unsupervised posterior sampling method. Motivated by variational inference, DDRM takes advantage of a pre-trained denoising diffusion generative model for solving any linear inverse problem. We demonstrate DDRM's versatility on several image datasets for super-resolution, deblurring, inpainting, and colorization under various amounts of measurement noise. DDRM outperforms the current leading unsupervised methods on the diverse ImageNet dataset in reconstruction quality, perceptual quality, and runtime, being 5x faster than the nearest competitor. DDRM also generalizes well for natural images out of the distribution of the observed ImageNet training set.

研究の動機と目的

• 再訓練なしで多様な劣化モデルに対する教師なし復元を動機づける。
• 逆問題の事後分布からサンプルするための priors として事前学習済み拡散モデルを活用する。
• 拡散 denoising を線形逆問題の制約と整合させる変分推論フレームワークを構築する。
• SVD を用いた劣化に基づくスペクトル空間拘 diffusion を提案し、さまざまな線形演算子を扱う。
• タスクとデータセット全体で効率性と頑健性を示し、分布外の画像も含む。

提案手法

• 線形逆問題の測定値を条件として、事後サンプリング目的を定式化する。
• SVD による劣化演算子のスペクトル空間で拡散を実行し、観測部分と欠損部分を分離する。
• p_theta と q_t を、DDPM/DDIM に類似した目的を DDRM の下で満たすGaussian条件付きとして定義し、無条件拡散モデルの再利用を可能にする。
• DDRM の目的が合理的な仮定の下で DDPM/DDIM に同等であることを証明し、単一の拡散モデルで複数の問題に対処可能とする。
• 効率性の向上を導入：サブセットタイムステップによる加速サンプリング、メモリ効率の良い SVD、事前学習済み拡散モデルとの互換性。
• 実用的なアルゴリズム的手順（更新ルール）を提供し、復元タスクを 20-100 NFEs で解く。

実験結果

リサーチクエスチョン

• RQ1 DDRM は再訓練なしで、教師なしでさまざまな線形逆問題を解決できるか？
• RQ2 拡散モデルを劣化演算子のスペクトル領域で活用して、測定値を尊重しつつ欠損データを忠実に再構成するにはどうするか？
• RQ3 多様なデータセットにおける DDRM の性能・速度・メモリ特性は、他の教師なし priors と比べてどうか？
• RQ4 ノイズのある測定値を含む場合も、単一の拡散モデルが超解像・デブラー・インペインティング・カラー化などの複数の復元タスクを処理できるか？

主な発見

手法	4x 超解像 PSNR	4x 超解像 SSIM	4x 超解像 KID	4x 超解像 NFEs	デブラー PSNR	デブラー SSIM	デブラー KID	デブラー NFEs
Baseline	25.65	0.71	44.90	0	19.26	0.48	38.00	0
DGP	23.06	0.56	21.22	1500	22.70	0.52	27.60	1500
RED	26.08	0.73	53.55	100	26.16	0.76	21.21	500
SNIPS	17.58	0.22	35.17	1000	34.32	0.87	0.49	1000
DDRM	26.55	0.72	7.22	20	35.64	0.95	0.71	20
DDRM-CC	26.55	0.74	6.56	20	35.65	0.96	0.70	20

• DDRM は ImageNet 上で複数のタスクにおいて主要な教師なし priors を上回り、しばしばはるかに少ない NFEs で実行できる（例: 20 vs 1500）。
• DDRMs はノイズなしおよびノイズありの設定で、PSNR/SSIM を競合させ、KID はベースラインよりはるかに低くなる。
• DDRM は質的にも強力な結果を示し、多様で妥当な復元を生み出し、分布外の自然画像にも一般化する。
• SVD を用いることで、さまざまな劣化演算子を効率的に処理し、多くのケースでメモリ使用量を O(n) に最適化する。
• 理論的な結果: 適切なスケジューリングにより、DDRM の目的関数は DDPM/DDIM の目的と一致し、条件付き復元のために無条件拡散モデルを再利用できる。
• DDRMs は異なるデータセットと劣化モデル全体で性能を維持し、タスク固有の再訓練なしの柔軟性を示す。