[論文レビュー] Learning the Degradation Distribution for Blind Image Super-Resolution

Zhengxiong Luo, Yan Huang+3 more|arXiv (Cornell University)|Mar 9, 2022

Advanced Image Processing Techniques被引用数 35

ひとこと要約

この論文は、ブラーとノイズを確率的変数として扱い、それらの分布を学習して blind SR の多様な LR 画像を合成し、SR性能を向上させる確率的劣化モデル（PDM）を提案します。

ABSTRACT

Synthetic high-resolution (HR) \& low-resolution (LR) pairs are widely used in existing super-resolution (SR) methods. To avoid the domain gap between synthetic and test images, most previous methods try to adaptively learn the synthesizing (degrading) process via a deterministic model. However, some degradations in real scenarios are stochastic and cannot be determined by the content of the image. These deterministic models may fail to model the random factors and content-independent parts of degradations, which will limit the performance of the following SR models. In this paper, we propose a probabilistic degradation model (PDM), which studies the degradation $\mathbf{D}$ as a random variable, and learns its distribution by modeling the mapping from a priori random variable $\mathbf{z}$ to $\mathbf{D}$. Compared with previous deterministic degradation models, PDM could model more diverse degradations and generate HR-LR pairs that may better cover the various degradations of test images, and thus prevent the SR model from over-fitting to specific ones. Extensive experiments have demonstrated that our degradation model can help the SR model achieve better performance on different datasets. The source codes are released at \url{[e-mail]:greatlog/UnpairedSR.git}.

研究の動機と目的

• Synthetic と real LR 画像間の領域ギャップの低減を blind SR で動機づける。
• Kernel とノイズの確率変数を用いて劣化を分布としてモデル化する確率的劣化モデル（PDM）を提案する。
• PDM が生成する LR-HR ペアが複数データセットで SR 性能を向上させることを示す。
• PDM を SR モデルと統合すると主流ベンチマークで最新成果を達成できる。

提案手法

• 劣化を線形過程としてモデル化する：D(x) = (x ⊗ k) ↓ s + n.
• 潜在変数 z_k をブラーカーネル k に写像するカーネルモジュールに劣化を分解する。
• 潜在変数 z_n（オプションで y_clean）をノイズ n に写像するノイズモジュールに劣化を分解する。
• p(D) = p(k)p(n) を仮定し、PatchGAN 判別器による敵対的学習で学習する。
• PDM と SR モデルを同時に訓練する統一的な PDM-SR フレームワークを提供する（PDM-SR または PDM-SRGAN）。
• 生成されたノイズの正則化項を含めて訓練を安定化させる。

実験結果

リサーチクエスチョン

• RQ1 ブラインド SR で劣化を決定論的な写像として捉えるより分布として捉える方が良いか。
• RQ2 確率的劣化モデルは実世界の劣化のカバレッジを改善し、SR 性能を向上させるか。
• RQ3 ブラーとノイズの画像内容への依存性を最適な SR 結果のためにどのようにモデル化すべきか。

主な発見

手法	2017Track2 PSNR	2017Track2 SSIM	2017Track2 LPIPS	2018Track2 PSNR	2018Track2 SSIM	2018Track2 LPIPS	2018Track4 PSNR	2018Track4 SSIM	2018Track4 LPIPS	2020Track1 PSNR	2020Track1 SSIM	2020Track1 LPIPS
Bicubic	21.73	0.5731	0.5430	20.58	0.5304	0.7929	20.26	0.5101	0.7970	25.51	0.6731	0.6414
EDSR [23]	21.58	0.5646	0.4697	20.43	0.5045	0.7778	20.07	0.4771	0.7831	25.34	0.6391	0.6074
DSGAN-SR [12]	20.18	0.5165	0.4314	20.67	0.5829	0.5293	20.26	0.4402	0.5381	23.29	0.6631	0.3295
CinCGAN [7]	19.04	0.4451	0.3847	20.10	0.4631	0.4748	20.09	0.4680	0.4903	21.70	0.5814	0.3386
CycleSR [8]	20.70	0.5242	0.4798	21.36	0.5291	0.6390	20.65	0.4980	0.6574	25.48	0.7259	0.3641
Maeda et al. [30]	19.23	0.4754	0.3667	19.90	0.4728	0.4897	18.57	0.4085	0.5322	20.06	0.5368	0.4074
Bulat et al. [4]	19.84	0.5020	0.4115	20.27	0.4488	0.6668	20.91	0.5408	0.5918	21.49	0.5553	0.4935
PDM-SRGAN	23.43	0.6412	0.2475	20.32	0.5257	0.4074	20.25	0.5307	0.4415	24.56	0.6630	0.2716
PDM-SR	23.69	0.6725	0.3427	20.85	0.5870	0.5240	20.32	0.5611	0.5282	26.80	0.7470	0.3601

• PDM-SR および PDM-SRGAN は複数のベンチマークで競合的な最新成果を達成し、しばしば SSIM および LPIPS が優れている。特に 2017Track2 データセットで顕著な改善が見られる。
• PDM–SR はベースラインや他の学習ベース劣化法と比べて PSNR の改善が大きく、LPIPS が低い。
• ランダム化されたカーネルとノイズの組み合わせ（z_k と z_n）の Ablation により最良の性能を示す。
• ブラーの内容非依存性およびノイズの部分的内容依存性は、検証データセットでは一般的により良い結果をもたらす。
• 学習された劣化は多様で非ガウス的なカーネルとカラフルなノイズとして視覚化され、より豊富な LR 合成を可能にする。