[論文レビュー] ACDMSR: Accelerated Conditional Diffusion Models for Single Image Super-Resolution

Axi Niu, Pham Xuan Trung+5 more|arXiv (Cornell University)|Jul 3, 2023

Advanced Image Processing TechniquesComputer Science被引用数 3

ひとこと要約

ACDMSRは、事前学習済みの超解像モデルの出力を条件画像として用いることで、高速かつ条件付きの拡散モデルを提案する。これにより、高品質で写真のようなリアルな結果が得られる。本手法は、Set5、Urban100、BSD100などのベンチマークデータセットにおいて、定量的指標と知覚的品質の両面で最先端の性能を達成しており、視覚的忠実度において従来の拡散ベースおよびCNNベースの手法を顕著に上回りつつ、PSNRとSSIMスコアにおいても競争力を持つ。

ABSTRACT

Diffusion models have gained significant popularity in the field of image-to-image translation. Previous efforts applying diffusion models to image super-resolution (SR) have demonstrated that iteratively refining pure Gaussian noise using a U-Net architecture trained on denoising at various noise levels can yield satisfactory high-resolution images from low-resolution inputs. However, this iterative refinement process comes with the drawback of low inference speed, which strongly limits its applications. To speed up inference and further enhance the performance, our research revisits diffusion models in image super-resolution and proposes a straightforward yet significant diffusion model-based super-resolution method called ACDMSR (accelerated conditional diffusion model for image super-resolution). Specifically, our method adapts the standard diffusion model to perform super-resolution through a deterministic iterative denoising process. Our study also highlights the effectiveness of using a pre-trained SR model to provide the conditional image of the given low-resolution (LR) image to achieve superior high-resolution results. We demonstrate that our method surpasses previous attempts in qualitative and quantitative results through extensive experiments conducted on benchmark datasets such as Set5, Set14, Urban100, BSD100, and Manga109. Moreover, our approach generates more visually realistic counterparts for low-resolution images, emphasizing its effectiveness in practical scenarios.

研究の動機と目的

• 拡散モデルの単一画像超解像（SISR）における推論速度の遅さが実用的導入を制限する問題に対処すること。
• 従来のPSNR最適化手法にとどまらず、条件付き拡散モデリングを活用することでSISRにおける知覚的品質を向上させること。
• 事前学習済みモデルから得られる事前超解像特徴が、拡散ベースSISRの有効な条件として機能するかどうかを調査すること。
• 主なSRモデルを再学習せずに、画像のリアルさを向上させるシンプルで効果的な後処理フレームワークを開発すること。

提案手法

• 本手法は、入力の低解像度（LR）画像から事前学習済みの超解像モデル（例：RRDB、EDSR、RCAN、SwinIR）を用いて条件画像を生成する。
• 得られた条件画像を、高解像度出力を精緻化するためのガイドとして、確定的反復ノイズ除去を実行する拡散モデルに用いる。
• 拡散モデルは逆ノイズ除去プロセスにおけるノイズ予測を学習するが、最終出力は画像予測損失を用いることで知覚的品質が向上する。
• フレームワークは既存のSRモデルへの後処理として適用可能であり、最小限のアーキテクチャ変更で高速推論を実現する。
• 本手法はさまざまなスケール要因をサポートしており、Set5、Set14、Urban100、BSD100、Manga109などの複数のベンチマークで評価されている。

Figure 1 : Illustration of our method. The model contains a stochastic forward diffusion process, gradually adding noise to an $\bm{I}^{HR}$ image. And a deterministic denoise process is applied to recover high-resolution and realistic images $\bm{I}^{SR}$ corresponding to $\bm{I}^{LR}$ images.

実験結果

リサーチクエスチョン

• RQ1 事前超解像画像を条件入力として用いることで、拡散ベース超解像の品質が向上するか？
• RQ2 条件画像の選択（例：LR、EDSR、RCAN、SwinIR、RRDB出力）が最終的なSR結果に与える影響は？
• RQ3 ノイズ予測ではなく画像予測を学習対象とする拡散モデルの訓練は、より優れた知覚的品質をもたらすか？
• RQ4 単純な後処理用拡散フレームワークは、主なSRモデルを再学習せずに最先端の性能を達成できるか？

主な発見

• 4×スケールのUrban100データセットにおいて、ACDMSRは条件モデルにSwinIRを用い、PSNR 25.947、SSIM 0.6743を達成し、両指標ですべてのベースラインを上回った。
• RCANを条件モデルとして用いた場合、LPIPSスコアは0.0834にまで低下し、他の手法と比較して優れた知覚的品質を示した。
• 画像予測損失バージョンはノイズ予測損失よりもPSNRおよびLPIPSの両面で優れており、SRにおける画像分布の学習において優位性が確認された。
• テキスト、動物、人物など多様なコンテンツにおける視覚的結果から、ACDMSRはベースライン手法よりも明確にシャープなテクスチャとよりリアルなディテールを生成することがわかった。
• Set5、Set14、BSD100、Manga109においても、PSNRが一部のCNNベースモデルよりわずかに低いものの、知覚的品質において一貫した向上が得られ、最先端の性能を達成した。

(a) PNSR