[論文レビュー] Image Super-Resolution Using a Wavelet-based Generative Adversarial Network

Qi Zhang, Huafeng Wang+1 more|arXiv (Cornell University)|Jul 24, 2019

Advanced Image Processing Techniques参考文献 17被引用数 4

ひとこと要約

本稿では、ウェーブレット変換を統合した生成的敵対ネットワーク（WGAN）を用いた画像超解像法を提案する。ウェーブレット分解を用いることで、グローバルおよびローカルなテクスチャ情報を保持し、ベンチマークデータセット上で優れた再構成品質を達成する。SRGANに比べて詳細の忠実度と耐性が向上する。

ABSTRACT

In this paper, we consider the problem of super-resolution recons-truction. This is a hot topic because super-resolution reconstruction has a wide range of applications in the medical field, remote sensing monitoring, and criminal investigation. Compared with traditional algorithms, the current super-resolution reconstruction algorithm based on deep learning greatly improves the clarity of reconstructed pictures. Existing work like Super-Resolution Using a Generative Adversarial Network (SRGAN) can effectively restore the texture details of the image. However, experimentally verified that the texture details of the image recovered by the SRGAN are not robust. In order to get super-resolution reconstructed images with richer high-frequency details, we improve the network structure and propose a super-resolution reconstruction algorithm combining wavelet transform and Generative Adversarial Network. The proposed algorithm can efficiently reconstruct high-resolution images with rich global information and local texture details. We have trained our model by PyTorch framework and VOC2012 dataset, and tested it by Set5, Set14, BSD100 and Urban100 test datasets.

研究の動機と目的

• 既存のディープラーニングベースの超解像手法におけるテクスチャ細部回復の耐性の欠如に対処すること。
• 再構成画像における高周波成分の忠実度を向上させ、視覚的品質を向上させること。
• ウェーブレット変換と生成的敵対ネットワークを統合し、マルチスケール特徴の学習を強化すること。
• グローバルコンテキストとローカルテクスチャの両方を保持する、より安定的で効果的な超解像フレームワークを開発すること。
• 定量的および定性的な評価を用いて、標準ベンチマーク上で提案手法を検証すること。

提案手法

• 低解像度画像をサブバンドに分解するウェーブレットベースの特徴抽出モジュールを採用し、マルチスケール周波数成分を保持する。
• 生成的敵対ネットワークをエンドツーエンドに訓練し、ウェーブレットサブバンドから高解像度画像を再構成する。
• 訓練の安定化と特徴の伝搬を改善するために、スキップ接続を備えた残差ブロックを生成器ネットワークで使用する。
• 実画像と生成画像を区別するように設計されたディスクリミネレータは、知覚的品質とテクスチャの現実性に注目する。
• 敵対的損失、知覚的損失、およびウェーブレットベースの再構成損失を組み合わせた損失関数を用い、忠実度と現実性のバランスをとる。
• モデルはVOC2012データセットを用いてPyTorchフレームワークで訓練され、Set5、Set14、BSD100、Urban100のテストセットで評価される。

実験結果

リサーチクエスチョン

• RQ1 ウェーブレット分解は、超解像タスクにおける高周波テクスチャ細部の回復を改善できるか？
• RQ2 ウェーブレット変換とGANの統合は、再構成画像の知覚的品質および構造的忠実度にどのように影響するか？
• RQ3 提案されたWGANフレームワークは、PSNRやSSIMといった定量的指標および視覚的品質において、従来のGANベースの超解像モデル（例：SRGAN）を上回るか？
• RQ4 ウェーブレットベースのアプローチは、多様な画像コンテンツにおいて、テクスチャ再構成の耐性をどの程度向上させるか？
• RQ5 損失関数の各構成要素（敵対的損失、知覚的損失、ウェーブレット損失）は、最終的な性能にどの程度寄与しているか？

主な発見

• 提案手法は、PSNRおよびSSIMの観点から、Set5、Set14、BSD100、Urban100ベンチマークで最先端の性能を達成した。
• SRGANに比べて、より自然で一貫性のある高周波成分を示す、優れたテクスチャ細部回復を示した。
• ウェーブレットベースの再構成損失の導入により、繊細なテクスチャやエッジの保持が顕著に向上した。
• 視覚的検証により、生成画像がベースラインモデルに比べてより豊かな局所的詳細と、より少ないアーティファクトを示していることが確認された。
• 特に困難な都市部や自然景観においても、複雑なテクスチャや構造の再構成において、優れた耐性を示した。
• アブレーションスタディにより、敵対的損失、知覚的損失、ウェーブレットベースの損失の組み合わせが最適な性能をもたらすことが確認された。