[论文解读] Remote sensing image fusion based on Bayesian GAN

Junfu Chen, Yue Pan+1 more|arXiv (Cornell University)|Sep 20, 2020

Advanced Image Fusion Techniques参考文献 33被引用 6

一句话总结

该论文提出PGSLD-BGAN，一种基于预条件随机梯度朗之万动力学（PGSLD）的贝叶斯生成对抗网络，用于遥感图像全色锐化。通过在生成器参数上进行贝叶斯推断并基于后验采样选择最优参数，模型提升了融合质量，在QuickBird和WorldView数据集上均实现了客观与主观指标的最先进性能。

ABSTRACT

Remote sensing image fusion technology (pan-sharpening) is an important means to improve the information capacity of remote sensing images. Inspired by the efficient arameter space posteriori sampling of Bayesian neural networks, in this paper we propose a Bayesian Generative Adversarial Network based on Preconditioned Stochastic Gradient Langevin Dynamics (PGSLD-BGAN) to improve pan-sharpening tasks. Unlike many traditional generative models that consider only one optimal solution (might be locally optimal), the proposed PGSLD-BGAN performs Bayesian inference on the network parameters, and explore the generator posteriori distribution, which assists selecting the appropriate generator parameters. First, we build a two-stream generator network with PAN and MS images as input, which consists of three parts: feature extraction, feature fusion and image reconstruction. Then, we leverage Markov discriminator to enhance the ability of generator to reconstruct the fusion image, so that the result image can retain more details. Finally, introducing Preconditioned Stochastic Gradient Langevin Dynamics policy, we perform Bayesian inference on the generator network. Experiments on QuickBird and WorldView datasets show that the model proposed in this paper can effectively fuse PAN and MS images, and be competitive with even superior to state of the arts in terms of subjective and objective metrics.

研究动机与目标

• 通过将贝叶斯深度学习整合到基于GAN的融合方法中，解决传统全色锐化方法中存在的光谱失真与空间退化问题。
• 通过在生成器参数中建模不确定性，提升基于深度学习的全色锐化模型的鲁棒性与泛化能力。
• 开发一种稳定的贝叶斯推断策略用于GAN，避免梯度消失问题，并实现有效的后验采样。
• 通过基于性能度量从后验样本分布中选择最佳生成器参数，实现更优的融合结果。

提出的方法

• 设计一个双流生成器网络，以全色（PAN）和多光谱（MS）图像作为输入，包含独立的特征提取分支，随后进行特征融合与图像重建。
• 引入马尔可夫判别器以区分真实高分辨率MS图像与生成的融合图像，提升细节保持与真实感。
• 应用预条件随机梯度朗之万动力学（PGSLD）对生成器权重进行贝叶斯推断，从后验分布中采样以探索参数空间。
• 在PGSLD中使用基于RMSProp的优化器，以稳定训练并缓解SGHMC方法中常见的梯度消失问题。
• 基于50个后验样本中最高的相关系数（CC）选择最终的生成器参数，确保最优性能。
• 在增强后的数据集上进行训练，包含12,000对（QuickBird）和10,000对（WorldView）图像对，使用批量大小为16，学习率为0.0001。

实验结果

研究问题

• RQ1 贝叶斯深度学习能否提升基于GAN的遥感图像融合中模型的鲁棒性与不确定性量化能力？
• RQ2 通过PGSLD对生成器参数进行后验采样，是否能带来比点估计训练更优的泛化能力与性能表现？
• RQ3 基于PGSLD训练的贝叶斯GAN是否能在客观与主观图像融合质量上均超越现有SOTA深度学习模型？
• RQ4 与非贝叶斯GAN变体相比，所提出方法在训练过程中的稳定性与收敛性表现如何？

主要发现

• 在QuickBird数据集上，所提出的PGSLD-BGAN模型实现了最高的CC（0.9899）与Q4（0.9895），优于所有基线方法，包括Pan-GAN与ResTFNet。
• 在WorldView数据集上，PGSLD-BGAN的CC为0.9887，Q4为0.9875，表现优于MSDCNN、PanNet与Pan-GAN。
• 非贝叶斯变体（PGSLD-BGAN*）已能与SOTA模型比肩，表明GAN架构本身具有强大性能，而贝叶斯采样进一步提升了结果。
• 模型在QuickBird上的ERGAS降低至3.7154，在WorldView上为3.7548，表明全局合成误差更低，保真度更高。
• SAM值分别降至3.7078（QuickBird）与3.6103（WorldView），表明相比其他方法，光谱失真更小。
• 图3与图4的视觉结果证实，PGSLD-BGAN在边缘与纹理区域更好地保留了细节与纹理，优于对比模型。