[論文レビュー] Designing a Practical Degradation Model for Deep Blind Image Super-Resolution

Kai Zhang, Jingyun Liang+2 more|arXiv (Cornell University)|Mar 25, 2021

Infrared Target Detection Methodologies被引用数 41

ひとこと要約

本論文は、ランダムにシャッフルされたブラー、ダウンサンプリング、ノイズを含む大規模で現実的な劣化モデルを提案し、ディープブラインドSISRモデルの学習を行い、実世界の劣化に対する性能を向上させる。高解像度画像から生成された合成のペアデータを用いてBSRNet/BSRGANを訓練する。

ABSTRACT

It is widely acknowledged that single image super-resolution (SISR) methods would not perform well if the assumed degradation model deviates from those in real images. Although several degradation models take additional factors into consideration, such as blur, they are still not effective enough to cover the diverse degradations of real images. To address this issue, this paper proposes to design a more complex but practical degradation model that consists of randomly shuffled blur, downsampling and noise degradations. Specifically, the blur is approximated by two convolutions with isotropic and anisotropic Gaussian kernels; the downsampling is randomly chosen from nearest, bilinear and bicubic interpolations; the noise is synthesized by adding Gaussian noise with different noise levels, adopting JPEG compression with different quality factors, and generating processed camera sensor noise via reverse-forward camera image signal processing (ISP) pipeline model and RAW image noise model. To verify the effectiveness of the new degradation model, we have trained a deep blind ESRGAN super-resolver and then applied it to super-resolve both synthetic and real images with diverse degradations. The experimental results demonstrate that the new degradation model can help to significantly improve the practicability of deep super-resolvers, thus providing a powerful alternative solution for real SISR applications.

研究の動機と目的

• bicubicや従来の単純なモデルを超えて、実画像の劣化をより適切に捉える劣化モデルの動機づけと設計。
• 監視付きブラインドSISR訓練のため、アライメントの問題なしに無制限のLR-HRペアデータを生成できるようにする。
• 提案された劣化モデルを用いて、深層ブラインドSISRネットワーク（BSRNet/BSRGAN）を訓練・評価する。
• 合成データと実デ degraded imagesでのブラインドSRの実用性向上を示す。

提案手法

• 三つの要因（ブラー、ダウンサンプリング、ノイズ）を拡張した劣化モデルを提案。等方および非等方ガウスブラー、複数のダウンサンプリング演算子、多様なノイズタイプ（ガウスノイズ、JPEG圧縮、処理済みカメラセンサーノイズ）を組み込む。
• 劣化手順をランダムに順序付ける劣化シャッフル戦略を導入し、劣化空間を拡張する。
• HRブラーとLRブラーを2つのガウス畳み込みでモデル化; 4つのダウンサンプリングオプション（最近傍、双線形、双三次、ダウンアップ）を適用; AWGN、JPEGノイズ、処理済みRAW/ISPベースのノイズでノイズを合成。
• カーネルサイズ、ブラー幅、回転角、ダウンサンプリングスケールのランダムサンプリングを用いて、広範なLR画像を生成。
• 2回のJPEG圧縮（画質を[30,95]の範囲）と最終的なJPEGステップを適用して、実世界のアーティファクトを模倣。
• RAWデータからカメラセンサーのノイズを合成するリバースフォワードISPパイプラインを活用し、複数の実機カメラをISPプールとして用いる。

実験結果

リサーチクエスチョン

• RQ1 従来のモデルよりも機能的に豊かでランダムにシャッフルされた劣化モデルは、実際の劣化空間をより良くカバーできるか。
• RQ2 提案された劣化モデルから生成されたデータでブラインドSRモデルを訓練すると、実際の劣化画像での性能が向上するか。
• RQ3 新しい劣化モデルで訓練されたブラインドSRネットワークは、合成データと実データのデータセットで既存手法とどのように比較されるか。
• RQ4 提案された劣化モデルを用いたBSRNet/BSRGANの使用による定性的および定量的な利点は何か。

主な発見

• 提案された劣化モデルは、2つのブラー畳み込み、複数のダウンサンプリング手法、さまざまなノイズタイプを組み合わせることで、劣化空間をbicubic/従来の形状を超えて拡張する。
• ランダム劣化シャッフルにより、モデルは多様な実世界の劣化をカバーでき、いくつかの既存の劣化スキームを特殊ケースとして包含する。
• BSRNetは合成DIV2K4Dデータで総合的なPSNRが最も高く、BSRGANは評価対象の劣化全体で最も良い知覚的結果（LPIPS）を達成する。
• RealSRSetの実画像では、BSRNetが他の競合手法より非参照IQA性能が強く、視覚的にもよりクリーンな結果を提供する。
• 本研究は実用的なSISRアプリケーションにおける劣化モデリングの重要性を浮き彫りにし、大容量ネットワークが多様な劣化に対して一般化できることを示している。