[论文解读] SatDM: Synthesizing Realistic Satellite Image with Semantic Layout Conditioning using Diffusion Models

Orkhan Baghirli, Hamid Askarov+3 more|arXiv (Cornell University)|Sep 28, 2023

Remote-Sensing Image ClassificationEngineering被引用 3

一句话总结

本文提出 SatDM，一种条件扩散模型，通过使用分类器自由指导和自适应归一化等先进技术，从语义布局图生成高保真、多样化的卫星图像。在新型 SAT25K 数据集上评估，SatDM 实现了最先进性能，人工标注的生成样本与真实影像难以区分，展示了其在遥感数据增强方面的强大潜力。

ABSTRACT

Deep learning models in the Earth Observation domain heavily rely on the availability of large-scale accurately labeled satellite imagery. However, obtaining and labeling satellite imagery is a resource-intensive endeavor. While generative models offer a promising solution to address data scarcity, their potential remains underexplored. Recently, Denoising Diffusion Probabilistic Models (DDPMs) have demonstrated significant promise in synthesizing realistic images from semantic layouts. In this paper, a conditional DDPM model capable of taking a semantic map and generating high-quality, diverse, and correspondingly accurate satellite images is implemented. Additionally, a comprehensive illustration of the optimization dynamics is provided. The proposed methodology integrates cutting-edge techniques such as variance learning, classifier-free guidance, and improved noise scheduling. The denoising network architecture is further complemented by the incorporation of adaptive normalization and self-attention mechanisms, enhancing the model's capabilities. The effectiveness of our proposed model is validated using a meticulously labeled dataset introduced within the context of this study. Validation encompasses both algorithmic methods such as Frechet Inception Distance (FID) and Intersection over Union (IoU), as well as a human opinion study. Our findings indicate that the generated samples exhibit minimal deviation from real ones, opening doors for practical applications such as data augmentation. We look forward to further explorations of DDPMs in a wider variety of settings and data modalities. An open-source reference implementation of the algorithm and a link to the benchmarked dataset are provided at https://github.com/obaghirli/syn10-diffusion.

研究动机与目标

• 为解决地球观测中的数据稀缺问题，通过生成逼真的卫星图像来扩充有限且昂贵的标注数据集。
• 开发一种条件扩散模型，从语义布局图合成高质量的卫星图像。
• 提出 SAT25K，一个精心整理的建筑轮廓数据集，包含配对的卫星图像和语义图，用于训练与评估。
• 通过定量指标（FID、IoU）和人工评估验证模型性能，以衡量真实感和泛化能力。
• 发布开源代码和模型权重，确保可复现性，并推动遥感研究领域的广泛应用。

提出的方法

• 该模型采用条件去噪扩散概率模型（DDPM），在语义布局图的条件下去噪潜在表征。
• 整合方差学习以提升训练稳定性，并采用分类器自由指导以增强样本质量，而无需类别标签。
• 去噪 U-Net 架构结合自适应实例归一化与自注意力机制，以更好地捕捉空间依赖关系和纹理细节。
• 采用改进的噪声调度策略，以增强去噪过程并提升样本多样性。
• 模型在自定义的光学卫星图像瓦片及其对应语义布局数据集上进行训练，训练期间应用数据增强。
• 推理过程从随机噪声开始，沿反向扩散轨迹迭代去噪，由语义图引导生成逼真图像。

实验结果

研究问题

• RQ1 条件扩散模型能否在给定语义布局图的条件下，生成在视觉上与真实图像无法区分的逼真卫星图像？
• RQ2 模型在不同分辨率下的性能表现如何？架构设计在保持图像质量方面起到何种作用？
• RQ3 生成图像在多大程度上具备泛化能力，避免对训练数据的过拟合？通过与真实样本的嵌入相似性进行衡量。
• RQ4 该模型在复杂城市与乡村场景中，能否有效生成多样化且结构准确的图像？
• RQ5 人类评估者能否可靠地区分真实与生成的卫星图像？这反映了合成结果的真实感如何？

主要发现

• 所提出的 SatDM 模型在 128×128 分辨率基准上实现了 12.4 的 Fréchet Inception Distance（FID），表明图像合成质量极高。
• 在 128×128 分辨率下的人工评估显示，真实图像识别率为 53.5%，表明生成图像与真实图像几乎无法区分。
• 128×128 模型在早期去噪步骤中比 64×64 模型更早学习到结构与纹理特征，从而实现更好的高频细节恢复。
• 图像修复实验表明，该模型学习到了丰富的语义与上下文理解，能够生成连贯且合理的场景补全。
• 插值结果揭示了图像之间平滑且语义有意义的过渡，表明模型潜在空间具有连续性。
• 余弦相似性分析显示，无视觉过拟合迹象：生成样本在嵌入空间中未与任何单一训练图像过于相似。