[論文レビュー] Toward Real-World Single Image Super-Resolution: A New Benchmark and A New Model

Jianrui Cai, Hui Zeng+3 more|arXiv (Cornell University)|Apr 1, 2019

Advanced Image Processing Techniques参考文献 52被引用数 52

ひとこと要約

この論文は、異なる焦点距離で撮影された整列HR-LR画像ペアを含む実世界SISRデータセット RealSR を構築し、ラプラシアンピラミッドカーネル予測ネットワーク（LP-KPN）を提案します。実世界のSISR を、シミュレートされた劣化で学習したモデルよりも優れた性能で提供します。

ABSTRACT

Most of the existing learning-based single image superresolution (SISR) methods are trained and evaluated on simulated datasets, where the low-resolution (LR) images are generated by applying a simple and uniform degradation (i.e., bicubic downsampling) to their high-resolution (HR) counterparts. However, the degradations in real-world LR images are far more complicated. As a consequence, the SISR models trained on simulated data become less effective when applied to practical scenarios. In this paper, we build a real-world super-resolution (RealSR) dataset where paired LR-HR images on the same scene are captured by adjusting the focal length of a digital camera. An image registration algorithm is developed to progressively align the image pairs at different resolutions. Considering that the degradation kernels are naturally non-uniform in our dataset, we present a Laplacian pyramid based kernel prediction network (LP-KPN), which efficiently learns per-pixel kernels to recover the HR image. Our extensive experiments demonstrate that SISR models trained on our RealSR dataset deliver better visual quality with sharper edges and finer textures on real-world scenes than those trained on simulated datasets. Though our RealSR dataset is built by using only two cameras (Canon 5D3 and Nikon D810), the trained model generalizes well to other camera devices such as Sony a7II and mobile phones.

研究の動機と目的

• 実世界の劣化とシミュレートされたSISRの学習データのギャップに対処する。
• 実世界の実用的なHR-LR対となるグラウンドトゥルースペアを含むデータセットを提供する。
• 空間的に変動する劣化に適した、効率的な画素単位カーネル予測モデルを提案する。
• カメラ間および実世界画像に対する一般化を評価する。

提案手法

• 2台のデジタル一眼レフカメラを使用し、同じシーンのHR-LRペアを異なる焦点距離で撮影してRealSRを作成する。
• HRとLRペアを一致させるため、輝度調整を含む画素単位の画像登録法を開発する。
• ラプラシアンピラミッドベースのカーネル予測ネットワーク（LP-KPN）を導入し、複数のピラミッドレベルで画素ごとのカーネルを予測する。
• RealSR上でモデルを訓練し、シミュレートされた劣化（BD、MD）で訓練したモデルと比較する。
• Yチャネル上でのL2損失を使用し、RealSRのテストセットでPSNR/SSIMを用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 実世界の authentic な劣化を含むSISRデータセットは、シミュレートされた劣化データセットと比較して実世界の画像でSR性能を改善できるか？
• RQ2 画素単位のカーネル予測手法（LP-KPN）は、実世界の空間的に変動する劣化に対して効率性と精度の利点を提供するか？
• RQ3 RealSRで訓練されたモデルは、カメラ間およびデータセット外のデバイスからの画像に対してどれだけ一般化するか？

主な発見

Method	PSNR_x2	PSNR_x3	PSNR_x4	SSIM_x2	SSIM_x3	SSIM_x4
Bicubic	32.61	29.34	27.99	0.907	0.841	0.806
VDSR	33.64	30.14	28.63	0.917	0.856	0.821
SRResNet	33.69	30.18	28.67	0.919	0.859	0.824
RCAN	33.87	30.40	28.88	0.922	0.862	0.826
DPS	33.71	30.20	28.69	0.919	0.859	0.824
KPN k=5	33.75	30.26	28.74	0.920	0.860	0.826
KPN k=7	33.78	30.29	28.78	0.921	0.861	0.827
KPN k=13	33.83	30.35	28.85	0.923	0.862	0.828
KPN k=19	33.86	30.39	28.90	0.924	0.864	0.830
Our LP-KPN k=5	33.90	30.42	28.92	0.927	0.868	0.834

• RealSRで訓練されたモデルはRealSRでのテストにおいてBD/MDで訓練されたモデルを上回り、スケールx2で約1.0 dB PSNRの改善、x3およびx4で顕著な利得を示す。
• LP-KPNは、RCANや他のベースラインと比較して計算コストを抑えつつ、各スケールで最高のPSNR/SSIMを達成する。
• LP-KPNはクロスカメラのテストでよく一般化し、カメラ内テストとのPSNR差（約0.3 dB）と同様の傾向を示す。
• カメラ間の結果は、RealSRで訓練されたモデルが別のカメラタイプ（Canon↔Nikon）に適用されても性能を維持することを示す。
• LP-KPNはパラメータ数がRCAN（400以上）より少ない46層の畳み込みから成るが、競争力のある性能を発揮する。