[论文解读] Generating Synthetic Multispectral Satellite Imagery from Sentinel-2

Tharun Mohandoss, Aditya Kulkarni+3 more|arXiv (Cornell University)|Dec 5, 2020

Remote-Sensing Image Classification参考文献 12被引用 8

一句话总结

本文提出一种改进的MSG-ProGAN架构，结合WGAN-GP损失函数，从Sentinel-2数据生成高保真度的合成多光谱卫星影像，成功生成10个波段、分辨率为256×256的影像，其中10m和20m分辨率的波段并存。该模型实现人类无法区分的结果，适用于遥感应用中数据稀缺区域的数据增强。

ABSTRACT

Multi-spectral satellite imagery provides valuable data at global scale for many environmental and socio-economic applications. Building supervised machine learning models based on these imagery, however, may require ground reference labels which are not available at global scale. Here, we propose a generative model to produce multi-resolution multi-spectral imagery based on Sentinel-2 data. The resulting synthetic images are indistinguishable from real ones by humans. This technique paves the road for future work to generate labeled synthetic imagery that can be used for data augmentation in data scarce regions and applications.

研究动机与目标

• 为解决遥感领域中监督机器学习任务因全球范围内标注训练数据稀缺，特别是在偏远或危险区域的问题。
• 开发一种生成模型，能够生成具有多个波段且空间分辨率各异的逼真多光谱卫星影像。
• 为下游应用（如土地覆盖分类与农业监测）在数据稀缺区域提供数据增强支持。
• 在不显著损失质量的前提下降低模型资源需求，支持在计算资源有限的硬件上部署。
• 为未来生成带有对应真实标签的合成影像工作奠定基础。

提出的方法

• 采用MSG-ProGAN架构并引入多尺度梯度反馈，从4×4像素逐步提升至256×256像素的分辨率进行生成器与判别器的训练。
• 修改生成器与判别器，使其输出十个多光谱波段（四个10m分辨率，六个20m分辨率），而非标准RGB，通过为不同分辨率设置独立处理分支。
• 应用WGAN-GP损失函数并引入梯度惩罚（λ = 10），以稳定训练过程，缓解模式崩溃与分布不匹配问题。
• 使用RMSProp优化器，学习率为10⁻³，并对低分辨率波段应用最近邻插值，将其对齐至256×256输出尺寸。
• 通过在判别器中引入分辨率感知架构，将10m与20m波段并行处理，并在共享特征融合层中整合信息。
• 通过减少卷积核数量并剪枝卷积层，优化模型效率，权衡模型大小与图像质量之间的关系。

实验结果

研究问题

• RQ1 基于GAN的模型能否生成在视觉上与真实Sentinel-2影像无法区分的合成多光谱卫星影像？
• RQ2 如何使生成模型能够在一个图像生成过程中，有效处理具有不同空间分辨率（10m与20m）的多个光谱波段？
• RQ3 为将原本专为RGB图像设计的标准GAN扩展至多光谱遥感影像，需要进行哪些架构修改？
• RQ4 在不显著降低图像真实感的前提下，模型大小与计算资源开销可被压缩到何种程度？
• RQ5 生成的合成影像能否作为数据稀缺区域监督学习任务中可行的数据增强来源？

主要发现

• 该模型成功生成了包含十个波段（四个10m，六个20m）的256×256合成多光谱影像，人类观察者无法将其与真实Sentinel-2影像区分开。
• 采用分别处理10m与20m波段的分辨率感知分支架构（3C）的模型取得了最高质量结果，各波段同步性良好，伪影极少。
• 将每层卷积核数量减半，显著降低了模型大小，对图像质量影响极小，优于卷积层剪枝策略。
• 模型性能受限于训练数据中的类别不平衡问题，尤其在耕地与城市区域等代表性不足的地物类型上表现较弱。
• 表现最佳的模型（3C）生成的影像具有逼真的纹理与波段间良好的光谱一致性，但观察到一定程度的多样性损失。
• 该方法可推广至十波段场景，资源高效模型成功适配多光谱影像生成任务，验证了其可扩展性。