[論文レビュー] Real-World Denoising via Diffusion Model

Cheng Yang, Lijing Liang+1 more|arXiv (Cornell University)|May 8, 2023

Image and Signal Denoising Methods被引用数 6

ひとこと要約

本論文では、クリーン画像とノイズあり画像の間の線形補間を用いて、拡散プロセス中のノイズレベルを制御することで、現実世界の画像ノイズ除去に適した一般化された拡散モデルを提案する。シンプルなU-Netと2つのサンプリング戦略（Origin SamplingとImprove Sampling）を活用することで、ノイズ補間によるデータオーグメンテーションを通じて高いロバスト性を維持しつつ、ベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

Real-world image denoising is an extremely important image processing problem, which aims to recover clean images from noisy images captured in natural environments. In recent years, diffusion models have achieved very promising results in the field of image generation, outperforming previous generation models. However, it has not been widely used in the field of image denoising because it is difficult to control the appropriate position of the added noise. Inspired by diffusion models, this paper proposes a novel general denoising diffusion model that can be used for real-world image denoising. We introduce a diffusion process with linear interpolation, and the intermediate noisy image is interpolated from the original clean image and the corresponding real-world noisy image, so that this diffusion model can handle the level of added noise. In particular, we also introduce two sampling algorithms for this diffusion model. The first one is a simple sampling procedure defined according to the diffusion process, and the second one targets the problem of the first one and makes a number of improvements. Our experimental results show that our proposed method with a simple CNNs Unet achieves comparable results compared to the Transformer architecture. Both quantitative and qualitative evaluations on real-world denoising benchmarks show that the proposed general diffusion model performs almost as well as against the state-of-the-art methods.

研究の動機と目的

• ノイズが非一様で複雑な現実世界の画像ノイズ除去に拡散モデルを適用する課題に対処すること。
• ノイズ分布の事前知識が不要な、可搬性の高い拡散フレームワークを構築すること。
• 制御されたノイズ補間を通じて拡散プロセスをデータオーグメンテーションの一種として活用し、ノイズ除去モデルのロバスト性を向上させること。
• 2つのサンプリングアルゴリズム（Origin SamplingとImprove Sampling）が現実世界のノイズ除去性能に与える影響を評価すること。
• 拡散ベースの学習を用いたシンプルなU-Netアーキテクチャが、より複雑なTransformerベースのモデルと同等またはそれ以上の性能を達成できることを示すこと。

提案手法

• 前向きの拡散プロセスでは、クリーン画像とそれに対応する現実世界のノイズあり画像の間の線形補間を用いて、異なるノイズレベルの間接的なノイズあり画像を生成する。
• 逆方向プロセスでは、U-Netアーキテクチャを用いて各ステップでノイズを予測・除去することで、画像を段階的にノイズ除去する。
• 2つのサンプリングアルゴリズムを提案する：基本的な逆方向サンプリング手順であるOrigin Samplingと、最初の手法の限界を補うための改良版であるImprove Sampling。
• 各タイムステップにおける予測ノイズと実際のノイズの差を最小化するノイズ除去損失を用いて、エンドツーエンドでモデルを訓練する。
• 拡散プロセスは、訓練画像の多様なノイズバージョンを生成することで、データオーグメンテーション技術として機能し、実世界のノイズ変動に対するモデルのロバスト性を向上させる。
• 明示的なノイズレベルマップや複雑なノイズモデリングを必要とせず、ノイズ強度の制御に補間に依存する。

実験結果

リサーチクエスチョン

• RQ1 ノイズが非ガウス分布かつ空間的に変動する現実世界の画像ノイズ除去に、拡散モデルを効果的に適応できるか？
• RQ2 クリーン画像とノイズあり画像の間の線形補間が、拡散プロセスにおけるノイズレベルの制御をどのように向上させるか？
• RQ3 現実世界のノイズ除去の文脈において、異なるサンプリング戦略（Origin Sampling対Improve Sampling）の相対的な性能はいかが？
• RQ4 拡散プロセスがどれほど効果的にデータオーグメンテーションとして機能し、モデルの汎化性能を向上させるか？
• RQ5 シンプルなU-Netアーキテクチャが、より複雑なTransformerベースのモデルと比較して、現実世界のノイズ除去で競争力のある結果を達成できるか？

主な発見

• 本手法はDNDベンチマークで最先端の性能を達成し、最適な性能は70ステップの拡散で得られた。
• Origin SamplingがImprove Samplingを上回る性能を示し、このタスクではよりシンプルなサンプリング戦略がより効果的であることが示唆された。
• 本モデルは、はるかに単純なU-Netアーキテクチャを用いながらも、SOTAのTransformerベースの手法と同等の結果を達成した。
• 拡散プロセスは、補間されたノイズあり画像を通じて、ノイズレベルの変動に強いモデルのロバスト性を向上させる有効なデータオーグメンテーション手法として機能した。
• 定量的評価では、DNDおよびSIDDベンチマークの両方で高いPSNRおよびSSIMスコアが得られ、高品質な画像再構成が確認された。
• 定性的な視覚的比較により、繊細なテクスチャーや構造的詳細の保持が顕著に向上したことが確認された。