[論文レビュー] Super Resolution Using Segmentation-Prior Self-Attention Generative Adversarial Network

Yuxin Zhang, Zuquan Zheng+1 more|arXiv (Cornell University)|Mar 7, 2020

Advanced Image Processing Techniques参考文献 38被引用数 8

ひとこと要約

本稿では、重み付き融合モジュールを介してセグメンテーション事前知識と自己注意メカニズムを統合するsuper-resolution手法SPSAGANを提案する。この手法により、テクスチャの現実性と長距離特徴モデリングが向上する。セマンティックガイドランスとグローバルな注意を組み合わせ、軽量なResidual-in-Residual Sparse Block (RRSB)を導入することで、複数のベンチマークで最先端の知覚的品質を達成するとともに、効率性も向上した。

ABSTRACT

Convolutional Neural Network (CNN) is intensively implemented to solve super resolution (SR) tasks because of its superior performance. However, the problem of super resolution is still challenging due to the lack of prior knowledge and small receptive field of CNN. We propose the Segmentation-Piror Self-Attention Generative Adversarial Network (SPSAGAN) to combine segmentation-priors and feature attentions into a unified framework. This combination is led by a carefully designed weighted addition to balance the influence of feature and segmentation attentions, so that the network can emphasize textures in the same segmentation category and meanwhile focus on the long-distance feature relationship. We also propose a lightweight skip connection architecture called Residual-in-Residual Sparse Block (RRSB) to further improve the super-resolution performance and save computation. Extensive experiments show that SPSAGAN can generate more realistic and visually pleasing textures compared to state-of-the-art SFTGAN and ESRGAN on many SR datasets.

研究の動機と目的

• 小さな受容 field と事前知識の欠如により、既存のsuper-resolution手法が長距離依存関係やセマンティックの一貫性を捉えきれていないという限界に対処する。
• GANベースのフレームワークにセマンティックセグメンテーション事前知識を統合することで、一貫したカテゴリ内でのテクスチャ生成をガイドし、視覚的品質を向上させる。
• 自己注意メカニズムを組み込むことで、画像全体の長距離空間的依存関係をモデル化し、特徴表現を強化する。
• 残差ブロック内の不要なスカイプ接続をプルーニングする軽量なスキップ接続構造（RRSB）を設計することで、ネットワークの効率性を最適化する。
• SFTGAN や ESRGAN などの最先端手法と比較して、優れた知覚的品質と計算効率を示すことを実証する。

提案手法

• 分類ごとの注目度と長距離特徴関係の両立を図るため、学習可能な重み付き加算によりセグメンテーション確率マップと自己注意マップを統合する、セグメンテーション事前知識自己注意（SPSA）層を提案する。
• 知覚的損失と対抗的損失を用いて視覚的リアリズムを向上させるGANベースのsuper-resolutionフレームワークにSPSAモジュールを統合する。
• RRDBアーキテクチャにおける不要なスカイプ接続をプルーニングすることで、冗長性を低減しながら性能を維持するResidual-in-Residual Sparse Block (RRSB)を設計する。
• 特徴再構成とテクスチャ生成を最適化するため、知覚的損失、対抗的損失、および新しい注目ベース損失を組み合わせてネットワークを訓練する。
• 生成器がセマンティックカテゴリに条件付けられるように、事前学習済みのセマンティックセグメンテーションモデルを用いて確率マップを生成する。
• 訓練の安定化と一般化性能の向上を図るため、段階的な精錬を伴うマルチスケール訓練戦略を適用する。

実験結果

リサーチクエスチョン

• RQ1 セグメンテーション事前知識と自己注意メカニズムの統合は、単一画像super-resolutionにおけるテクスチャのリアリズムと一貫性を向上させることができるか？
• RQ2 セグメンテーションマップと特徴注目マップの重み付き統合は、ネットワークの関心領域の特定能力とセマンティック構造の保持能力にどのように影響するか？
• RQ3 残差ブロック内の不要なスカイプ接続をプルーニングすることで、画像品質に悪影響を与えずに性能向上と計算コスト低減をどの程度達成できるか？
• RQ4 SFTGAN や ESRGAN などの最先端手法と比較して、SPSAGAN は視覚的品質と知覚的忠実度においてどの程度優れているか？
• RQ5 本手法は、グランドトゥースセグメンテーションが利用できないカテゴリ外の画像に対しても、より自然なテクスチャを生成できるか？

主な発見

• ユーザー評価調査において、SPSAGANはOSTデータセットでSFTGAN や ESRGAN を上回り、視覚的品質において有意に高い順位（p < 0.05）を獲得した。
• OSTデータセットにおけるユーザー評価テストでは、SPSAGANがRank 1の投票頻度（38.9%）を記録し、SRResNet（27.8%）やSAN（25.6%）を上回った。
• テクスチャ品質比較において、30枚のOST画像に対して、SPSAGANはSFTGAN、ESRGAN、NatSRと比較して、より自然で知覚に優れたテクスチャであると68.9%の票を集めた。
• アブレーションスタディの結果、特徴注目を追加することでテクスチャの明瞭性が向上しアーティファクトが減少した一方、セグメンテーション注目を追加することで構造的一致性と規則性が向上した。
• RRSBブロックにより、GTX 1080Ti上でOSTデータセットの1枚あたりの推論時間が0.368秒から0.296秒に短縮され、19.6％の高速化が達成された。視覚的品質も向上した。
• 完全なSPSAGANモデルは、OSTデータセットで最高のPSNR（33.12）、SSIM（0.918）、PI（0.876）を達成し、ESRGAN や SFTGAN と比較して全指標で優れた性能を示した。