[論文レビュー] Diffusion Model for Generative Image Denoising

Yutong Xie, Minne Yuan+2 more|arXiv (Cornell University)|Feb 5, 2023

Image and Signal Denoising Methods被引用数 12

ひとこと要約

本論文は、特定の拡散過程を用いて後方分布 x|y からサンプリングすることで画像ノイズ除去を再定式化し、ガウス・ガンマ・ポアソンノイズ向けの生成的ノイズ除去モデルを訓練する。競争力のある質的結果を示し、それぞれのノイズタイプに対する訓練/サンプリングアルゴリズムを提供する。

ABSTRACT

In supervised learning for image denoising, usually the paired clean images and noisy images are collected or synthesised to train a denoising model. L2 norm loss or other distance functions are used as the objective function for training. It often leads to an over-smooth result with less image details. In this paper, we regard the denoising task as a problem of estimating the posterior distribution of clean images conditioned on noisy images. We apply the idea of diffusion model to realize generative image denoising. According to the noise model in denoising tasks, we redefine the diffusion process such that it is different from the original one. Hence, the sampling of the posterior distribution is a reverse process of dozens of steps from the noisy image. We consider three types of noise model, Gaussian, Gamma and Poisson noise. With the guarantee of theory, we derive a unified strategy for model training. Our method is verified through experiments on three types of noise models and achieves excellent performance.

研究の動機と目的

• 標準的な教師あり学習による過度な平滑化を避けるため、ノイズ除去を後方分布の推定として動機づける。
• 与えられたノイズモデルと整合するフォワード過程を持つ拡散モデルフレームワークを導入する。
• ノイズ除去タスクにおけるガウス、ガンマ、ポアソンノイズに対する訓練とサンプリングアルゴリズムを開発する。
• 複数のノイズタイプ下でグレースケール画像データセットに対する実現可能性と質的・量的向上を示す。

提案手法

• 既知のノイズモデル（Gaussian、Gamma、Poisson）の下で、クリーンな x0 をノイズのある xN に写像するノイズ整合拡散過程を定義する。
• アルゴリズム1–7を用いて、q(x0|xN) をサンプルするための逆マルコフ連鎖 p_theta(x_t|x_{t+1},x_N) を構築する。
• ELBO に基づく訓練目的関数を導出し、それが各ノイズタイプで後方平均の単純な L2 損失に縮約することを示す。
• 後方平均を近似しサンプリングを誘導するために、ニューラルネットワーク f(x_{t+1}, t+1; theta) を用いる。
• ガウス、ガンマ、ポアソンノイズに対する明示的な訓練およびサンプリング手順を提供する（アルゴリズム2–7）。
• KL 発散を最小化することは、x0 をターゲットとする L2 損失を最小化することと同値であることを示す。

実験結果

リサーチクエスチョン

• RQ1 観測されたノイズ画像から始めて後方分布 x|y をサンプリングすることで、拡散ベースのフレームワークは画像のノイズ除去を実現できるか。
• RQ2 拡散過程をガウス、ガンマ、ポアソンノイズモデルに合わせて、効率的なノイズ除去を実現できるようにどのように適合させられるか。
• RQ3 拡散過程を基盤ノイズモデルと一致させることは、標準の教師あり法と比較してノイズ除去性能を改善し、ディテールを保持するのか。
• RQ4 この拡散ノイズ除去パラダイムにおける各ノイズモデルの訓練目的とサンプリングアルゴリズムは何か。

主な発見

• 提案された拡散-ノイズ除去フレームワークは、ガウス、ガンマ、ポアソンノイズに対してノイズ入力から条件付けられたクリーン画像の後方分布からサンプルを生成できる。
• 訓練は後方平均の L2 損失に縮約され、ノイズモデル間で一貫した目的関数をもたらす。
• 質的結果は、Kodak および CSet9 のグレースケールデータセットで、標準的な教師ありベースラインよりも細部が鮮明な生成サンプルを示す。
• 定量的な結果 (PSNR/SSIM) は表1に報告され、教師あり学習と生成サンプルのギャップを示しており、後者は視覚的に心地よい結果を提供する。
• 実験は、複数のノイズモデルに跨る拡散ベースの生成的ノイズ除去の実現可能性を検証している。