[论文解读] GeoGAN: A Conditional GAN with Reconstruction and Style Loss to Generate Standard Layer of Maps from Satellite Images

Swetava Ganguli, Pedro Javier Rojas Garzón+1 more|arXiv (Cornell University)|Feb 14, 2019

Advanced Image and Video Retrieval Techniques被引用 28

一句话总结

GeoGAN 提出了一种带有重建损失和风格损失的条件 GAN，用于将卫星图像翻译为标准地图图层，通过深度卷积生成器和判别器实现高保真、可读性强的地图输出。该模型通过结合对抗性损失、感知损失和重建损失，优于其他方法，即使在 10 米分辨率下也能生成逼真的地图输出。

ABSTRACT

Automatically generating maps from satellite images is an important task. There is a body of literature which tries to address this challenge. We created a more expansive survey of the task by experimenting with different models and adding new loss functions to improve results. We created a database of pairs of satellite images and the corresponding map of the area. Our model translates the satellite image to the corresponding standard layer map image using three main model architectures: (i) a conditional Generative Adversarial Network (GAN) which compresses the images down to a learned embedding, (ii) a generator which is trained as a normalizing flow (RealNVP) model, and (iii) a conditional GAN where the generator translates via a series of convolutions to the standard layer of a map and the discriminator input is the concatenation of the real/generated map and the satellite image. Model (iii) was by far the most promising of three models. To improve the results we also added a reconstruction loss and style transfer loss in addition to the GAN losses. The third model architecture produced the best quality of sampled images. In contrast to the other generative model where evaluation of the model is a challenging problem. since we have access to the real map for a given satellite image, we are able to assign a quantitative metric to the quality of the generated images in addition to inspecting them visually. While we are continuing to work on increasing the accuracy of the model, one challenge has been the coarse resolution of the data which upper-bounds the quality of the results of our model. Nevertheless, as will be seen in the results, the generated map is more accurate in the features it produces since the generator architecture demands a pixel-wise image translation/pixel-wise coloring. A video presentation summarizing this paper is available at: https://youtu.be/Ur0flOX-Ji0

研究动机与目标

• 自动化从卫星图像生成标准地图图层，以降低人工制图的成本和延迟。
• 通过在条件 GAN 框架中集成重建损失和风格迁移损失，提升地图生成质量。
• 通过利用配对的卫星-地图数据集，实现地图生成的量化评估。
• 开发可扩展的管道，从 Google Earth Engine 和 Google Maps API 收集多光谱地理空间数据。

提出的方法

• 采用条件 GAN 架构，其中生成器通过卷积层堆叠将卫星图像翻译为类似地图的输出。
• 判别器通过将卫星图像与生成图/真实地图拼接输入，评估生成地图的真实性。
• 应用重建损失，以强制生成地图与真实地图在像素级别上的相似性。
• 使用风格损失，通过匹配特征图的格拉姆矩阵，保留目标地图的视觉风格（例如 Google 地图风格）。
• 模型通过端到端训练，结合对抗性损失、重建损失和风格损失进行优化，未使用编码器或归一化流组件。
• 实现数据管道，从 Google Earth Engine 和 Google Maps API 提取对齐的卫星与地图配对用于训练。

实验结果

研究问题

• RQ1 带有重建损失和风格损失的条件 GAN 是否能从卫星图像生成高质量、逼真的地图图层？
• RQ2 与标准 GAN 相比，引入重建损失和风格损失如何提升地图保真度？
• RQ3 数据分辨率（例如 10 米 vs. 更高）对生成地图质量有何影响？
• RQ4 结合对抗性损失、重建损失和风格损失的混合损失函数是否优于仅使用对抗性损失的模型？
• RQ5 在真实世界、高分辨率且云量较少的卫星数据上，训练基于 GAN 的地图生成器是否可行？

主要发现

• 带有重建损失和风格损失的条件 GAN 生成了最高质量的地图转换结果，优于使用编码器或基于 RealNVP 的生成器的模型。
• 模型在 15 个周期内实现稳定训练并收敛，即使在 10 米分辨率下也生成了视觉上逼真的输出。
• 与标准 GAN 相比，重建损失和风格损失显著提升了感知质量并减少了伪影。
• 基于 RealNVP 的生成器因训练目标不匹配且缺乏基于似然的优化，导致模式崩溃和数值不稳定性。
• 模型在 CycleGAN 数据集上表现最佳，因其分辨率更高且云覆盖问题更少，表明数据质量是关键瓶颈。
• 作者成功构建了从 Google Earth Engine 提取多波段地理空间数据（包括红外波段）的管道，为未来模型改进提供了支持。