[论文解读] Image to Image Translation : Generating maps from satellite images

Vaishali Ingale, Rishabh Singh+1 more|arXiv (Cornell University)|May 19, 2021

Generative Adversarial Networks and Image Synthesis参考文献 8被引用 7

一句话总结

本文提出一种基于U-Net架构的条件生成对抗网络（cGAN），用于将卫星图像翻译为可读地图，通过对抗训练实现高保真输出。该模型使用配对的卫星图-地图数据集，采用批量归一化和tanh激活函数以提升GAN稳定性，生成的图像具有极少伪影，证明了其在自动化地图生成中的可行性。

ABSTRACT

Generation of maps from satellite images is conventionally done by a range of tools. Maps became an important part of life whose conversion from satellite images may be a bit expensive but Generative models can pander to this challenge. These models aims at finding the patterns between the input and output image. Image to image translation is employed to convert satellite image to corresponding map. Different techniques for image to image translations like Generative adversarial network, Conditional adversarial networks and Co-Variational Auto encoders are used to generate the corresponding human-readable maps for that region, which takes a satellite image at a given zoom level as its input. We are training our model on Conditional Generative Adversarial Network which comprises of Generator model which which generates fake images while the discriminator tries to classify the image as real or fake and both these models are trained synchronously in adversarial manner where both try to fool each other and result in enhancing model performance.

研究动机与目标

• 自动化生成可读地图，减少对昂贵人工制图流程的依赖。
• 解决自动驾驶、网约车和电子商务等领域地图创建中的延迟与成本问题。
• 利用深度生成模型，特别是条件GAN，实现地理空间数据中图像到图像的精确转换。
• 通过架构创新（如跳跃连接）和GAN训练技巧，提升地图生成质量。
• 探索未来工作中使用多光谱波段（如红外、全色）以增强特征检测的潜力。

提出的方法

• 该模型采用条件GAN框架，其中生成器以卫星图像作为输入，生成对应的地图图像。
• 生成器基于U-Net架构，包含编码器-解码器模块，使用批量归一化、ReLU激活函数，并在对称层之间引入跳跃连接。
• 判别器为基于PatchGAN的分类器，通过卷积层和Sigmoid激活函数判断生成的地图-卫星图像对是否为真实样本。
• 训练采用最小-最大损失函数：判别器最大化正确分类真实与虚假图像的概率，而生成器最小化判别器对虚假样本的置信度。
• 关键的GAN稳定性技术包括将图像归一化至[-1, 1]区间，生成器输出层使用tanh激活函数，避免使用ReLU和最大池化以防止梯度稀疏化。
• 模型在pix2pix数据集（1,097张训练图像，1,099张验证图像）上进行训练，批量大小为10，训练多轮次。

实验结果

研究问题

• RQ1 基于U-Net架构的条件GAN能否有效实现高保真度的卫星图像到可读地图的翻译？
• RQ2 如批量归一化和输出激活函数（tanh）等GAN训练技术如何影响地图生成的稳定性与质量？
• RQ3 与无监督方法相比，使用配对的卫星图-地图数据在多大程度上提升了翻译精度？
• RQ4 哪些架构组件（如跳跃连接、PatchGAN）对生成逼真且结构准确的地图贡献最大？
• RQ5 未来通过使用多光谱波段（如红外）是否可提升对植被和水体等特征的检测能力？

主要发现

• 该模型通过条件GAN框架与对抗训练，成功从卫星图像生成逼真且可读的地图。
• 采用跳跃连接的U-Net结构使生成器能够保留空间细节，生成结构连贯的地图。
• 图像归一化、tanh输出激活函数和批量归一化等稳定技术显著提升了训练收敛速度与输出质量。
• 判别器能有效区分真实与生成的地图-卫星图像对，推动生成器持续生成更逼真的输出。
• 结果表明，该模型在测试集上实现了视觉上合理的地图翻译，伪影极少，显示出强大的泛化能力。
• 作者指出，通过延长训练时间并引入多光谱图像波段，性能可进一步提升。