[論文レビュー] Structure-Preserving Super Resolution with Gradient Guidance

Cheng Ma, Yongming Rao+4 more|arXiv (Cornell University)|Mar 29, 2020

Advanced Image Processing Techniques参考文献 45被引用数 38

ひとこと要約

GANベースの単一画像超解像法（SPSR）は、勾配ブランチと勾配損失を用いて幾何学的構造を保ちながら、視覚品質を強化し、PSNR/SSIMを競合的に達成します。

ABSTRACT

Structures matter in single image super resolution (SISR). Recent studies benefiting from generative adversarial network (GAN) have promoted the development of SISR by recovering photo-realistic images. However, there are always undesired structural distortions in the recovered images. In this paper, we propose a structure-preserving super resolution method to alleviate the above issue while maintaining the merits of GAN-based methods to generate perceptual-pleasant details. Specifically, we exploit gradient maps of images to guide the recovery in two aspects. On the one hand, we restore high-resolution gradient maps by a gradient branch to provide additional structure priors for the SR process. On the other hand, we propose a gradient loss which imposes a second-order restriction on the super-resolved images. Along with the previous image-space loss functions, the gradient-space objectives help generative networks concentrate more on geometric structures. Moreover, our method is model-agnostic, which can be potentially used for off-the-shelf SR networks. Experimental results show that we achieve the best PI and LPIPS performance and meanwhile comparable PSNR and SSIM compared with state-of-the-art perceptual-driven SR methods. Visual results demonstrate our superiority in restoring structures while generating natural SR images.

研究の動機と目的

• perceptual-driven SR法における幾何歪み低減の必要性を動機づける。
• オフ・ザ・シェルフSRネットワークと互換性のある勾配ガイド付き・構造保持SRフレームワークを提案する。
• PSNR/SSIMを競合的に保ちつつ知覚品質（PI/LPIPS）を向上させる。
• LR勾配マップをHRへ翻訳しSR再構成を導く勾配ブランチを導入する。
• 回復画像に対して2次の整合性を課す勾配損失を導入する。

提案手法

• SRブランチと勾配ブランチの二分岐ジェネレータ。
• 勾配ブランチはSRブランチの特徴を priors として用い、LR勾配マップをHRへ翻訳する。
• RRDBベースのフュージョンブロックを用いた勾配ブランチ特徴とSR特徴の注意機構付き融合。
• 標準的な画像空間損失（L1、知覚、敵対的）に加えて勾配空間損失。
• 勾配損失にはSRとHRのピクセル単位勾配マップ損失（SRのM(.)のL1）と勾配マップ上の勾配識別器損失（D_GM）を含む。
• オフ・ザ・シェルフSRネットワークと統合可能なモデル独立設計。

実験結果

リサーチクエスチョン

• RQ1 勾配情報をどう活用してGANベースSRにおける幾何学的構造を保持できるか。
• RQ2 勾配ガイド付きSRフレームワークは構造歪みを低減しつつ高い知覚品質と競合的PSNR/SSIMを維持できるか。
• RQ3 勾配ブランチと勾配損失がPV/LPIPSおよび標準ベンチマーク全体の構造忠実度に与える影響は何か。

主な発見

• SPSRはテストデータセット全体でPIとLPIPSの指標が最高を達成しつつ、PSNRとSSIMも競合的である。
• 定性的な結果では、SPSRは他の知覚駆動SR法より構造と勾配をよりよく保持する。
• 勾配ブランチと勾配損失の併用により、ESRGANベースラインより鋭く、構造保持に優れたSR結果が得られる。
• アブレーション解析では勾配ブランチまたは勾配損失を除くと知覚指標と構造保持が劣化する。
• 勾配ブランチはLR勾配からHR似の勾配マップを回復し、SRを幾何学的忠実度の維持へと導く。