[論文レビュー] Residual Denoising Diffusion Models

Jiawei Liu, Qiang Wang+4 more|arXiv (Cornell University)|Aug 25, 2023

Advanced Neuroimaging Techniques and Applications被引用数 4

ひとこと要約

本稿では、従来のノイズ除去プロセスを残差拡散（目的画像から劣化画像へ）とノイズ拡散（ランダムな摂動）に分離する二重拡散フレームワーク、Residual Denoising Diffusion Models (RDDM) を提案する。解釈可能でタスク統合型の画像生成と修復が、ℓ₁損失とミニバッチサイズ1のみで可能であり、先行手法と比較して10倍少ない学習イテレーション、パラメータ数、推論時間を要しながら、画像修復分野で最先端の性能を達成する。

ABSTRACT

We propose residual denoising diffusion models (RDDM), a novel dual diffusion process that decouples the traditional single denoising diffusion process into residual diffusion and noise diffusion. This dual diffusion framework expands the denoising-based diffusion models, initially uninterpretable for image restoration, into a unified and interpretable model for both image generation and restoration by introducing residuals. Specifically, our residual diffusion represents directional diffusion from the target image to the degraded input image and explicitly guides the reverse generation process for image restoration, while noise diffusion represents random perturbations in the diffusion process. The residual prioritizes certainty, while the noise emphasizes diversity, enabling RDDM to effectively unify tasks with varying certainty or diversity requirements, such as image generation and restoration. We demonstrate that our sampling process is consistent with that of DDPM and DDIM through coefficient transformation, and propose a partially path-independent generation process to better understand the reverse process. Notably, our RDDM enables a generic UNet, trained with only an L1 loss and a batch size of 1, to compete with state-of-the-art image restoration methods. We provide code and pre-trained models to encourage further exploration, application, and development of our innovative framework (https://github.com/nachifur/RDDM).

研究の動機と目的

• 画像修復における単一のノイズ除去拡散の解釈不能性、特に劣化入力に関する情報が欠落する前向きプロセスの問題に対処すること。
• 方向性のある残差拡散を導入することで、単一で解釈可能な拡散フレームワークにおいて画像生成と修復を統合すること。
• ℓ₁損失とミニバッチサイズ1といった最小限の監視情報での有効な学習を可能にし、最先端の性能を維持または上回ること。
• 逆方向生成プロセスの堅牢性と解釈可能性を高めるパスに依存しないサンプリングメカニズムを提供すること。
• 拡散プロセス内において、残差とノイズが明確に異なる役割を果たすことを示すこと——確実性（残差）と多様性（ノイズ）の補完的役割。

提案手法

• RDDMは、拡散プロセスを二つの独立した成分に分解する：残差拡散（目的画像から劣化入力へ）とノイズ拡散（ランダム摂動）。それぞれが独自の係数スケジュールに従う。
• 前向きプロセスでは、残差拡散とノイズ拡散を同時に実行し、目的画像をノイズの多い状態に変換する。この残差パスは、綺麗な画像から劣化画像への方向的変換を表す。
• 逆方向プロセスは係数変換によりDDPMおよびDDIMと整合性を保ち、既存のサンプリング手法との互換性を確保する。
• 部分的にパスに依存しない生成プロセスを導入し、残差を最初に除去してからノイズ除去を行う場合でも、意味的に一貫した画像が得られることを確認した。これにより、モデルの堅牢性が裏付けられた。
• 標準的なUNetを用い、ℓ₁損失とミニバッチサイズ1のみで、多様な修復タスクにおいて競争力ある性能を達成している。
• このフレームワークは条件付き入力をネイティブにサポートしており、アーキテクチャの変更なしに画像対画像変換や修復タスクへの直接適用が可能である。

実験結果

リサーチクエスチョン

• RQ1 明示的に残差とノイズ成分をモデル化する二重拡散プロセスが、単一で解釈可能なフレームワークにおいて画像生成と修復を統合できるか？
• RQ2 残差とノイズ拡散係数を独立して制御することで、モデルの性能とサンプリングの一貫性にどのような影響を与えるか？
• RQ3 単純なℓ₁損失と最小限のバッチサイズ（1）が、汎用UNetが最先端の修復性能を達成できるまでの程度はどの程度か？
• RQ4 RDDMにおける逆方向プロセスのパスに依存しない性質が、多様な画像修復タスクにおける堅牢性と一般化性能を向上させるか？
• RQ5 残差成分が、従来の手法とは異なり、暗黙の条件付けとは対照的に、逆方向生成プロセスにおける意味的で解釈可能なガイドとして機能できるか？

主な発見

• RDDMは、影除去タスクにおけるISTDデータセットで最先端の性能を達成し、SR3と比較してPSNRとSSIMがそれぞれ10%向上した。学習イテレーションは10倍少ない一方、推論速度は10倍速い。
• 訓練にはGPUメモリが4.8GBしか必要とせず、リソース制限のあるシステムへのデプロイが可能である。
• ミニバッチサイズ1とℓ₁損失のみで、汎用UNetが特殊化された最先端の修復手法を上回る性能を発揮し、残差ガイドの有効性を示した。
• 部分的にパスに依存しないサンプリングプロセスにより、残差を最初に除去してからノイズ除去を行う場合でも、意味的に一貫した画像が得られ、モデルの堅牢性が裏付けられた。
• RDDMの二重係数スケジュールにより、残差拡散とノイズ拡散の独立した制御が可能となり、生成プロセスにおける確実性（残差）と多様性（ノイズ）の分離が向上した。
• フレームワークはDDPMおよびDDIMのサンプリングと完全に互換性があり、既存の拡散モデルパイプラインとの後方互換性を確保している。