[論文レビュー] SRDiff: Single Image Super-Resolution with Diffusion Probabilistic Models

Haoying Li, Yifan Yang+5 more|arXiv (Cornell University)|Apr 30, 2021

Advanced Image Processing Techniques参考文献 24被引用数 27

ひとこと要約

SRDiff は、低解像度入力を条件に多様で高品質な SR 出力を生成する、拡散ベースの単一画像超解像モデルとして初めてのモデルであり、小さなフットプリントと安定した学習を実現します。

ABSTRACT

Single image super-resolution (SISR) aims to reconstruct high-resolution (HR) images from the given low-resolution (LR) ones, which is an ill-posed problem because one LR image corresponds to multiple HR images. Recently, learning-based SISR methods have greatly outperformed traditional ones, while suffering from over-smoothing, mode collapse or large model footprint issues for PSNR-oriented, GAN-driven and flow-based methods respectively. To solve these problems, we propose a novel single image super-resolution diffusion probabilistic model (SRDiff), which is the first diffusion-based model for SISR. SRDiff is optimized with a variant of the variational bound on the data likelihood and can provide diverse and realistic SR predictions by gradually transforming the Gaussian noise into a super-resolution (SR) image conditioned on an LR input through a Markov chain. In addition, we introduce residual prediction to the whole framework to speed up convergence. Our extensive experiments on facial and general benchmarks (CelebA and DIV2K datasets) show that 1) SRDiff can generate diverse SR results in rich details with state-of-the-art performance, given only one LR input; 2) SRDiff is easy to train with a small footprint; and 3) SRDiff can perform flexible image manipulation including latent space interpolation and content fusion.

研究の動機と目的

• ill-posed SISR を回避して過剰平滑化とモード崩壊を回避する。
• 単一の LR 入力から多様で現実的な SR 出力を実現する。
• 敵対的学習やフローに基づく制約を用いず、安定で軽量なトレーニングを達成する。
• 潜在空間操作とコンテンツ融合をサポートし、柔軟な SR 応用を可能にする。

提案手法

• 拡散確率モデルを用いて、ガウスノイズを LR 入力を条件とした SR 画像へ写像する。
• 予め学習された LR エンコーダを組み込み、LR 画像から条件情報を抽出する。
• HR 画像とアップサンプル済み LR 画像の差分をモデリングして残差を予測し、収束を速める。
• データ尤度の変分下界（ELBO）の変種を用いて、ノイズ予測器 εθ を使って最適化する。
• RRDB ベースの LR エンコーダと統合した U-Net ベースの条件付きノイズ予測器を採用する。
• xT から x0 への逐次デノイズを推論し、その後アップサンプル LR 画像を加えて SR 出力を形成する。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルを SISR に効果的に適用して、単一の LR 入力から多様で高品質な SR 解を生成できるか。
• RQ2 残差予測を組み込むことで、拡散ベースの SISR における学習安定性と推論速度が向上するか。
• RQ3 PSNR 指向、GAN 系、フロー系 SR 手法と比較した際のモデルサイズ、学習時間、性能のトレードオフはどうなるか。
• RQ4 SRDiff は SR 設定で潜在空間補間やコンテンツ融合といった柔軟な画像操作をサポートできるか。

主な発見

方法	PSNR	SSIM	LPIPS	LR-PSNR	シグマ
Bicubic	23.38	0.65	0.484	34.66	0.00
RRDB	26.89	0.78	0.220	48.01	0.00
ESRGAN	23.24	0.66	0.115	39.91	0.00
ProgFSR	24.21	0.69	0.126	42.19	0.00
SRFlow	25.32	0.72	0.108	50.73	5.21
SRDiff	25.38	0.74	0.106	52.34	6.13
ProgFSR	24.21	0.69	0.126	42.19	0.00
SRDiff	25.32	0.73	0.106	51.41	6.19
Bicubic	26.70	0.77	0.409	38.70	0.00
EDS R	28.98	0.83	0.270	54.89	0.00
RRDB	29.44	0.84	0.253	49.20	0.00
RankSRGAN	26.55	0.75	0.128	42.33	0.00
ESRGAN	26.22	0.75	0.124	39.03	0.00
SRFlow	27.09	0.76	0.120	49.96	5.14
SRDiff	27.41	0.79	0.136	55.21	6.09

• SRDiff は LR 一貫性を維持しつつ多様で高品質な SR 出力を達成し、CelebA (8×) および DIV2K (4×) のいくつかの最先端手法より上回る。
• SRDiff は約 12M パラメータを使用し、単一 GPU 上で約 30 時間程度で収束し、SRFlow (≈40M) よりフットプリントが小さい。
• 残差予測は収束を加速し SR 品質を向上させ、アブレーションにより拡散ステップとモデル幅全体で利益を示す。
• SRDiff は潜在空間補間とコンテンツ融合を可能にし、柔軟な SR 画像操作を実現する。
• GAN 系手法と比較して、SRDiff は識別器の学習とアーティファツを回避し、フロー系手法と比較して設計上の制約が少なく軽量のままである。