[論文レビュー] RankSRGAN: Generative Adversarial Networks with Ranker for Image Super-Resolution

Wenlong Zhang, Yihao Liu+2 more|arXiv (Cornell University)|Aug 18, 2019

Advanced Image Processing Techniques参考文献 8被引用数 51

ひとこと要約

RankSRGAN は、知覚 NR-IQA 指標の動作を学習するランカーを導入し、ランクコンテンツ損失で SR ジェネレータを最適化する。PSNR を維持しつつ最先端の知覚品質を達成。

ABSTRACT

Generative Adversarial Networks (GAN) have demonstrated the potential to recover realistic details for single image super-resolution (SISR). To further improve the visual quality of super-resolved results, PIRM2018-SR Challenge employed perceptual metrics to assess the perceptual quality, such as PI, NIQE, and Ma. However, existing methods cannot directly optimize these indifferentiable perceptual metrics, which are shown to be highly correlated with human ratings. To address the problem, we propose Super-Resolution Generative Adversarial Networks with Ranker (RankSRGAN) to optimize generator in the direction of perceptual metrics. Specifically, we first train a Ranker which can learn the behavior of perceptual metrics and then introduce a novel rank-content loss to optimize the perceptual quality. The most appealing part is that the proposed method can combine the strengths of different SR methods to generate better results. Extensive experiments show that RankSRGAN achieves visually pleasing results and reaches state-of-the-art performance in perceptual metrics. Project page: https://wenlongzhang0724.github.io/Projects/RankSRGAN

研究の動機と目的

• 従来の PSNR 指向の損失だけでなく、単一画像超解像（SISR）の知覚品質を改善する動機づけ。
• 微分不可能な知覚指標の最適化が難しい問題に対して、ランキング挙動を学習することで対応。
• 知覚結果を高めるために複数の SR 手法を融合できる汎用的なフレームワークを提案。
• RankSRGAN が学習済みランカーとランクコンテンツ損失を活用して、単一手法の上限を超えられることを示す。

提案手法

• 選好マージン損失を介して選択した知覚指標のランキング挙動を学習する Siamese CNN であるランカーを訓練する。
• 複数の SR 手法から対になる SR 結果を生成し、知覚指標（例：NIQE）に従ってペアにラベルを付与することでランクデータを構築する。
• SRGAN フレームワークにランクコンテンツ損失を組み込み、生成器をより高い知覚品質へ導く。
• ベースの SRGAN アーキテクチャ（ジェネレータの残差ブロック 16、識別器は VGG ベース）を採用し、知覚損失、敵対的損失、ランクコンテンツ損失を組み合わせて訓練する。
• ランカーが絶対的な指標値ではなくランキング順を予測することで、NIQE、Ma、PI などのさまざまな知覚指標に対する最適化を安定化させることを示す。
• Ranker が異なる SR アルゴリズムの結果を活用して、単一手法を超えた知覚品質の向上を実現できることを示す。

実験結果

リサーチクエスチョン

• RQ1 学習済み Ranker は微分不可能な知覚指標を近似し、SR ネットワークをより良い知覚品質へ導くことができるか。
• RQ2 ランクベースの損失を取り入れることで RankSRGAN は異なる SR 手法の長所を組み合わせ、それぞれの知覚性能を超えられるか。
• RQ3 このアプローチは複数の知覚指標（NIQE、Ma、PI）とデータセットに対して汎用化可能か。
• RQ4 RankSRGAN は知覚品質と PSNR のトレードオフをどう扱い、PSNR を維持しつつ知覚指標を改善できるか。

主な発見

• RankSRGAN は Set14、BSD100、PIRM-Test の比較対象知覚 SR 手法の中で最良の NIQE および PI を達成。
• RankSRGAN は PSNR を競合他社と同等またはそれに近い水準に維持しており、主要データセットで SRGAN/ESRGAN に相当する PSNR 値を示す。
• Ranker は検証 SROCC が 0.88 で、ランク予測性能が高いことを示す。
• RankSRGAN-MR（ランクベース）は PIRM-Test で NIQE において SRGAN および ESRGAN を上回り、複数手法を組み合わせることで単一 SR アルゴリズムの上限を超えることができる。
• RankSRGAN は NIQE、Ma、PI など異なる知覚指標間で一般化し、知覚改善を一貫して実現できる。