[論文レビュー] Real-ESRGAN: Training Real-World Blind Super-Resolution with Pure Synthetic Data

Xintao Wang, Liangbin Xie+2 more|ArXiv.org|Jul 22, 2021

Advanced Image Processing Techniques参考文献 52被引用数 83

ひとこと要約

Real-ESRGAN は、純粋な合成データで訓練するために高次の合成劣化モデルとスペクトル正規化を備えた U-Net 判別器を用いることで ESRGAN を拡張し、実世界のブラインド超解像において優れた結果を達成します。

ABSTRACT

Though many attempts have been made in blind super-resolution to restore low-resolution images with unknown and complex degradations, they are still far from addressing general real-world degraded images. In this work, we extend the powerful ESRGAN to a practical restoration application (namely, Real-ESRGAN), which is trained with pure synthetic data. Specifically, a high-order degradation modeling process is introduced to better simulate complex real-world degradations. We also consider the common ringing and overshoot artifacts in the synthesis process. In addition, we employ a U-Net discriminator with spectral normalization to increase discriminator capability and stabilize the training dynamics. Extensive comparisons have shown its superior visual performance than prior works on various real datasets. We also provide efficient implementations to synthesize training pairs on the fly.

研究の動機と目的

• 劣化が未知で複雑な現実世界のブラインド SR を動機づける。
• 現実世界のプロセスをより良くシミュレートする実用的な劣化モデルを開発する。
• アーキテクチャと訓練の改良を通じて訓練の安定性と知覚品質を向上させる。
• 現実世界の画像に対して、合成データ訓練が従来の実データおよび合成データ法を上回ることを示す。

提案手法

• 現実世界のパイプラインをシミュレートするため、複数の古典的劣化を組み合わせた高次の劣化モデルを導入する。
• 劣化合成中のリングイングやオーバーシュートアーチファクトをモデル化するために sinc フィルタを組み込む。
• より強力なピクセル単位のフィードバックを提供しGAN訓練を安定化させるため、スペクトル正規化を備えた U-Net 判別器を採用する。
• 2段階の訓練スキームを使用する：まず PSNR 指向のモデル（Real-ESRNet）を訓練し、次に L1、知覚、および GAN 損失で微調整する。
• RRDB ベースのジェネレータで処理する前に pixel-unshuffle を介して、スケールファクター 2 および 1 に対応するよう ESRGAN アーキテクチャを拡張する。

実験結果

リサーチクエスチョン

• RQ1 高次の合成劣化モデルはブラインド SR において、合成劣化と実世界劣化のギャップを埋めることができるか？
• RQ2 sinc ベースのリングングアーチファクトと U-Net 判別器の組み込みは、実世界の復元品質と訓練の安定性を向上させるか？
• RQ3 合成データだけで、さまざまな実データセットで従来の実世界 SR 手法を上回ることができるか？
• RQ4 訓練時にグランドトゥルースをシャープ化すると、アーチファクトを導入せずに知覚品質をさらに向上させるか？
• RQ5 実世界の画像に対して Real-ESRGAN は ESRGAN および他の最先端のブラインド SR 手法とどう比較されるか？

主な発見

• 純粋な合成データで訓練した Real-ESRGAN は、実データセット上で従来手法より視覚的な性能が向上する。
• 2次の劣化モデルと sinc ベースのアーチファクトは実世界の劣化を模倣するのに役立ち、出力のリングニング/オーバーシュートを減らす。
• スペクトル正規化を備えた U-Net 判別器は局所的な質感再構築を改善し、GAN の訓練を安定化させる。
• シャープ化されたグランドトゥルースを用いる Real-ESRGAN は、明らかなアーティファクトを導入することなく知覚的なシャープネスをさらに向上させる。
• 2 段階の訓練（Real-ESRNet の初期化に続く Real-ESRGAN 訓練）は、収束を加速し結果を改善する。