[論文レビュー] Remote sensing image fusion based on Bayesian GAN

Junfu Chen, Yue Pan+1 more|arXiv (Cornell University)|Sep 20, 2020

Advanced Image Fusion Techniques参考文献 33被引用数 6

ひとこと要約

本稿では、リモートセンシング画像のパンシャープニングに、事前条件付き確率的勾配ランジュヴィンダイナミクス（PGSLD）を用いたベイジアン生成対抗ネットワーク（PGSLD-BGAN）を提案する。生成器パラメータに対するベイジアン推論を後方サンプリングにより実行することで、最適なパラメータを選択し、融合品質を向上させ、QuickBirdおよびWorldViewデータセットにおいて、客観的および主観的指標の両面で最先端の性能を達成した。

ABSTRACT

Remote sensing image fusion technology (pan-sharpening) is an important means to improve the information capacity of remote sensing images. Inspired by the efficient arameter space posteriori sampling of Bayesian neural networks, in this paper we propose a Bayesian Generative Adversarial Network based on Preconditioned Stochastic Gradient Langevin Dynamics (PGSLD-BGAN) to improve pan-sharpening tasks. Unlike many traditional generative models that consider only one optimal solution (might be locally optimal), the proposed PGSLD-BGAN performs Bayesian inference on the network parameters, and explore the generator posteriori distribution, which assists selecting the appropriate generator parameters. First, we build a two-stream generator network with PAN and MS images as input, which consists of three parts: feature extraction, feature fusion and image reconstruction. Then, we leverage Markov discriminator to enhance the ability of generator to reconstruct the fusion image, so that the result image can retain more details. Finally, introducing Preconditioned Stochastic Gradient Langevin Dynamics policy, we perform Bayesian inference on the generator network. Experiments on QuickBird and WorldView datasets show that the model proposed in this paper can effectively fuse PAN and MS images, and be competitive with even superior to state of the arts in terms of subjective and objective metrics.

研究の動機と目的

• GANベースの融合にベイジアンディープラーニングを統合することで、従来のパンシャープニング手法におけるスペクトル歪みと空間分解能の低下を是正すること。
• 生成器パラメータの不確実性をモデル化することで、ディープラーニングベースのパンシャープニングモデルのロバスト性と一般化性能を向上させること。
• 消失勾配を回避し、効果的な後方サンプリングを可能にするGAN向けの安定したベイジアン推論戦略を開発すること。
• 性能指標に基づいて、後方サンプルの分布から最良の生成器パラメータを選択することで、優れた融合結果を達成すること。

提案手法

• パンクロマチック（PAN）画像とマルチスペクトル（MS）画像を入力とする2ストリーム生成器ネットワークを設計し、特徴抽出用の別々のブランチを設け、その後に特徴の統合と画像再構築を実行する。
• 実際の高解像度MS画像と生成された融合画像を区別するためのマルコフ的ディスクリミネーターを導入し、詳細の保持と現実性の向上を図る。
• 生成器重みに対するベイジアン推論を実行するため、事前条件付き確率的勾配ランジュヴィンダイナミクス（PGSLD）を適用し、パラメータ空間の探索を可能にする。
• SGHMCに基づく手法で一般的に見られる消失勾配問題を緩和するため、PGSLD内での最適化にRMSPropベースの最適化手法を採用する。
• 50個の後方サンプルのうち、相関係数（CC）が最大となるパラメータを最終的な生成器パラメータとして選択し、最適な性能を確保する。
• バッチサイズ16、初期学習率0.0001を用い、12,000（QuickBird）および10,000（WorldView）の画像ペアで拡張済みデータセットを用いてモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンディープラーニングは、GANベースのリモートセンシング画像融合におけるロバスト性と不確実性の定量化を向上させることができるか？
• RQ2 PGSLDによる生成器パラメータの後方サンプリングは、パンシャープニングにおいて点推定学習よりも優れた一般化性能と性能をもたらすか？
• RQ3 PGSLDによる学習を施したベイジアンGANは、客観的および主観的画像融合品質の両面で、既存の最先端のディープラーニングモデルを上回ることができるか？
• RQ4 安定性と収束性の観点から、本手法は非ベイジアンなGANの変種と比べてどのように差が現れるか？

主な発見

• QuickBirdデータセットでは、提案手法PGSLD-BGANがCC（0.9899）とQ4（0.9895）の最高値を記録し、Pan-GAN や ResTFNet などのベースラインをすべて上回った。
• WorldViewデータセットでは、CCが0.9887、Q4が0.9875を達成し、MSDCNN、PanNet、Pan-GAN よりも優れた性能を示した。
• 非ベイジアン変種（PGSLD-BGAN*）ですら最先端のモデルと同等の性能を示しており、GANアーキテクチャの強力さを示唆しているが、ベイジアンサンプリングによりさらに性能が向上した。
• QuickBirdではERGASが3.7154、WorldViewでは3.7548に低下し、グローバル合成誤差が低く、忠実度が向上したことを示した。
• SAM値はQuickBirdで3.7078、WorldViewで3.6103に最小化され、他の手法と比較してスペクトル歪みが顕著に低減した。
• 図3および図4の視覚的結果から、PGSLD-BGANはエッジやテクスチャ領域において、他の競合モデルと比較して細部やテクスチャをよりよく保持していることが確認された。