[論文レビュー] PGMAN: An Unsupervised Generative Multi-adversarial Network for Pan-sharpening

Huanyu Zhou, Qingjie Liu+1 more|arXiv (Cornell University)|Dec 16, 2020

Advanced Image Fusion Techniques参考文献 48被引用数 4

ひとこと要約

PGMANは、ハイレゾのパンクロマチック（PAN）およびマルチスペクトル（MS）画像をダウンサンプリングや教師付きラベルなしで直接学習する、非教師付き生成的マルチ敵対的ネットワークを提案する。2ストリームジェネレータ、スペクトルおよび空間忠実度を保持するための二重判別器、および敵対的損失と組み合わせた新規のQ損失を採用し、GaoFeng-2、QuickBird、WorldView-3のハイレゾデータセットで最先端の結果を達成した。

ABSTRACT

Pan-sharpening aims at fusing a low-resolution (LR) multi-spectral (MS) image and a high-resolution (HR) panchromatic (PAN) image acquired by a satellite to generate an HR MS image. Many deep learning based methods have been developed in the past few years. However, since there are no intended HR MS images as references for learning, almost all of the existing methods down-sample the MS and PAN images and regard the original MS images as targets to form a supervised setting for training. These methods may perform well on the down-scaled images, however, they generalize poorly to the full-resolution images. To conquer this problem, we design an unsupervised framework that is able to learn directly from the full-resolution images without any preprocessing. The model is built based on a novel generative multi-adversarial network. We use a two-stream generator to extract the modality-specific features from the PAN and MS images, respectively, and develop a dual-discriminator to preserve the spectral and spatial information of the inputs when performing fusion. Furthermore, a novel loss function is introduced to facilitate training under the unsupervised setting. Experiments and comparisons with other state-of-the-art methods on GaoFen-2 and QuickBird images demonstrate that the proposed method can obtain much better fusion results on the full-resolution images.

研究の動機と目的

• ダウンサンプリングされた画像で学習するが、ハイレゾデータでテストする従来の教師ありパンシャープニング手法に生じる一般化ギャップを是正すること。
• ハイレゾPANおよびMS画像から直接学習する非教師付きディープラーニングフレームワークを構築し、高解像度MS画像の教師データを必要としないこと。
• 二重判別器アーキテクチャと新規のQNRに基づく損失関数を用いて、融合画像におけるスペクトルおよび空間忠実度を維持すること。
• 既存の教師ありモデルがドメインシフトのためハイレゾリモートセンシング画像で性能を発揮できない状況において、性能を向上させること。

提案手法

• 2ストリームジェネレータは、高解像度パンクロマチック（PAN）画像と低解像度マルチスペクトル（MS）画像から、モality特徴を独立して抽出する。
• 二重判別器アーキテクチャを採用：1つの判別器（D1）はスペクトルの一貫性を評価し、もう1つの判別器（D2）は空間的リアリズムを評価することで、スペクトルおよび空間的忠実度を保証する。
• 生成されたハイレゾMS画像の品質を、実際のハイレゾMS画像の劣化版と比較することで測定する新規のQ損失を導入し、非教師学習を可能にする。
• 全体の損失関数は敵対的損失とQ損失を組み合わせており、ハイパーパrameter α と β を調整して両者のバランスを取る。
• ダウンサンプリングや事前処理を一切行わず、元のPANおよびMS画像のみを用いてエンドツーエンドで学習する。
• Q損失のための劣化プロセスは、生成されたハイレゾMS画像を低解像度MS画像の解像度にダウンサンプリングすることでシミュレートされ、一貫性制約を形成する。

実験結果

リサーチクエスチョン

• RQ1 教師データのないハイレゾリモートセンシング画像において、非教師付きディープラーニングモデルが優れたパンシャープニング性能を達成できるか？
• RQ2 教師なし環境下で、スペクトル歪みと空間歪みを同時に最小化する方法は何か？
• RQ3 非教師付き設定におけるGANベースのパンシャープニングモデルの学習に最も効果的な損失成分は何か？
• RQ4 標準の敵対的損失と比較して、提案されたQ損失は画像品質および一貫性の保持においてどのように優れているか？
• RQ5 二重判別器アーキテクチャは、パンシャープニングにおいてスペクトル忠実度と空間忠実度の最適化を効果的に分離できるか？

主な発見

• PGMANは、GaoFen-2、QuickBird、WorldView-3のハイレゾデータセットにおいて、従来の教師ありおよび非教師あり手法を上回る最先端の性能を達成した。
• Q損失と敵対的損失の組み合わせが最良の結果をもたらし、Q損失が敵対的損失単体よりも強い制約を提供することがわかった。
• GaoFen-2ではPSNRが32.15 dB、WorldView-3では30.87 dBを達成し、既存の非教師あり手法を顕著に上回った。
• PGMANは効率的で、1枚の画像あたり単一GPUで0.0004秒の推論時間であり、学習可能なパラメータはたった0.385M個である。
• パラメータ解析から、α=2e-4 と β=1e-4 が最適な性能をもたらすことが判明し、二重判別器学習のバランスを取るのに適していた。
• モデルはハイレゾ画像に良好に一般化され、ダウンサンプリングされた学習プロトコルで見られるドメインシフト問題を、元のデータで非教師学習することで回避できた。