[论文解读] Generate Your Own Scotland: Satellite Image Generation Conditioned on Maps

Miguel Espinosa, Elliot J. Crowley|arXiv (Cornell University)|Aug 31, 2023

Colorectal Cancer Screening and Detection被引用 5

一句话总结

本文提出一种基于开放街图（OSM）数据的扩散模型，用于生成苏格兰的高保真合成卫星图像。利用大规模的OSM地图与真实卫星图像配对数据集，作者训练了一种基于ControlNet的模型，在保持地图版面保真度的同时实现逼真的图像生成，展示了在地球观测领域进行数据增强和合成数据生成的强大潜力。

ABSTRACT

Despite recent advancements in image generation, diffusion models still remain largely underexplored in Earth Observation. In this paper we show that state-of-the-art pretrained diffusion models can be conditioned on cartographic data to generate realistic satellite images. We provide two large datasets of paired OpenStreetMap images and satellite views over the region of Mainland Scotland and the Central Belt. We train a ControlNet model and qualitatively evaluate the results, demonstrating that both image quality and map fidelity are possible. Finally, we provide some insights on the opportunities and challenges of applying these models for remote sensing. Our model weights and code for creating the dataset are publicly available at https://github.com/miquel-espinosa/map-sat.

研究动机与目标

• 探索使用预训练扩散模型基于制图数据生成逼真卫星图像的可行性。
• 为苏格兰本土地区和中部地带创建大规模、配对的OSM瓦片与对应卫星图像数据集。
• 评估ControlNet在基于OSM地图输入生成高保真卫星图像方面的性能。
• 识别将扩散模型应用于遥感，特别是数据增强和合成数据生成方面的机遇与挑战。
• 通过强调虚假图像的风险并提出对抗性训练以实现检测，促进生成模型的伦理使用。

提出的方法

• 作者构建了一个包含256×256 OSM地图瓦片与对应World Imagery卫星瓦片的配对数据集，覆盖苏格兰本土地区和中部地带。
• 他们使用ControlNet架构微调一个预训练扩散模型，以实现基于OSM地图输入的图像生成条件控制。
• 该模型使用固定文本提示进行训练，并采用潜在扩散建模方法，在去噪过程中生成图像。
• 通过将真实卫星图像作为参考，定性评估图像质量和地图保真度，推理过程中不使用真实图像。
• 数据集已公开发布，数据创建代码可在 https://github.com/miquel-espinosa/map-sat 获取。
• 对失败案例进行分析，以识别与训练集中特定特征（如大型河流、铁路和复杂道路交叉口）代表性不足相关的问题。

实验结果

研究问题

• RQ1 最先进的扩散模型在基于OSM数据条件控制下能否生成逼真的卫星图像？
• RQ2 生成的图像在多大程度上能保持输入OSM地图的结构布局？
• RQ3 图像生成中的主要失败模式是什么，它们与训练集中数据分布不平衡有何关联？
• RQ4 该方法在低数据遥感场景下用于数据增强和合成数据生成的适用程度如何？
• RQ5 生成高度逼真的合成卫星图像会引发哪些伦理和实际挑战？

主要发现

• 基于ControlNet的扩散模型成功生成了高质量、逼真的卫星图像，其视觉保真度与真实卫星图像高度一致。
• 该模型能够保留道路、建筑物和地表覆盖等地图布局特征，但在复杂结构（如道路交叉口和大型水体）方面表现较弱。
• 失败案例主要与训练数据集中特定特征（如铁路、大型河流、沿海区域）代表性不足有关。
• 该模型可在城市和乡村景观中生成连贯且多样的样本，展现出广泛的应用潜力。
• 该方法适用于遥感流程中的数据增强和合成数据创建，能够实现高保真图像生成。
• 该方法为对抗性训练以检测虚假或篡改的卫星图像开辟了新途径，有助于应对新兴的伦理关切。