[论文解读] Development of drought early warning system for the Alps

Clement Wang, Antoine Debouchage+3 more|arXiv (Cornell University)|Jan 1, 2023

Leaf Properties and Growth Measurement被引用 3

一句话总结

本文提出使用基于扩散的生成模型解决三个地球观测应用场景：云去除、合成变化检测数据集生成，以及通过文本条件图像修复实现城市规划。该方法利用去噪扩散模型——特别是RePaint及基于拼接的修复变体——在Sentinel-2和OSCD数据集上进行训练，在云去除任务中实现了0.691的SSIM和24.593 dB的PSNR，同时在城市规划应用中展示了真实且可控的图像生成能力。

ABSTRACT

<p>Increase in total amount of waste produced at global level has serious ecosystem implications, from health risks for individuals to environmental damage. This increase is directly correlated with the urban development in the past decades, increase in consumption of goods and services or in large industrial activities. In EMERITUS project, we aim to support waste management activities with the help of Earth Observation (EO) driven products derived from Sentinel 2 using deep learning segmentation approaches. To achieve a segmentation model that can properly identify waste dumps, where training datasets are missing, manual labelling and various models testing was implied. Using tools such as Optuna, a more straightforward approach is used for hyperparameters search. It is observed that the proposed model identifies waste dumps locations in different Sentinel 2 tiles, with main false positives in areas with very high spectral mixing (e.g. parking lots).</p>

研究动机与目标

• 通过解决卫星图像处理中的关键挑战，证明扩散模型在地球观测中的适用性。
• 通过基于扩散的图像修复方法，克服云层遮挡影像的局限性。
• 生成逼真的合成变化检测数据集，以缓解监督遥感任务中的数据稀缺问题。
• 通过文本条件图像修复生成逼真图像变体，实现交互式城市规划。
• 利用真实世界数据集，验证扩散模型在多样化地球观测应用中的可行性与性能。

提出的方法

• 在8,000张Sentinel-2 RGB图像（64×64分辨率）上训练了一个基于4层U-Net的扩散模型，共250个周期，批量大小为128，通过RePaint图像修复方法实现云去除。
• 采用去噪扩散过程，利用学习到的噪声预测器ϵθ逐步从噪声潜空间表示中去除噪声，反向过程由µθ和σt定义。
• 使用改进的RePaint变体，在每个反向步骤中将生成样本与掩码输入图像混合，复用无条件扩散模型。
• 采用基于拼接的图像修复方法，模型输入包括去噪图像、已知图像和掩码，实现条件生成。
• 在LAION-5B数据集上微调StableDiffusion模型，以生成文本条件图像编辑结果，用于城市规划，结合掩码区域与用户提供的提示。
• 通过在OSCD数据集补丁（50%重叠）上使用训练好的扩散图像修复模型，将原始变化区域替换为模型生成内容，生成合成变化检测图像对。

实验结果

研究问题

• RQ1 扩散模型能否在高感知质量下有效重建卫星影像中被云遮挡的区域？
• RQ2 扩散模型在生成逼真、多样且结构一致的变化区域方面，其性能如何，以用于合成变化检测数据集？
• RQ3 文本条件扩散图像修复能否实现从高分辨率航空影像出发的直观且逼真的城市规划可视化？
• RQ4 在地球观测任务中，不同扩散图像修复变体（RePaint与拼接方法）在性能和适用性方面如何比较？
• RQ5 经过地球观测数据微调后，现成的扩散模型能否生成合理可行的城市设计替代方案？

主要发现

• 所提出的云去除方法在Sentinel-2云掩码目录数据集上实现了0.691的结构相似性指数（SSIM）和24.593 dB的峰值信噪比（PSNR）。
• 定性样本显示，该模型成功重建了真实云遮挡区域，具有视觉上合理的纹理和空间一致性。
• 已生成一个合成变化检测数据集，并通过DOI 10.5281/zenodo.8144237公开发布，可提升监督变化检测流水线的训练效果。
• 由于扩散过程的变分性质及原始掩码的使用，生成的变化区域保持了与周围场景的结构一致性。
• 使用StableDiffusion的文本条件图像修复生成了逼真的城市规划可视化结果，例如将停车场替换为步行区或游泳池，真实区域与生成区域之间过渡自然。
• 使用现成模型进行城市规划展示了实际可行性，尽管通过任务特定微调可进一步提升性能。