[论文解读] Generating Physically-Consistent Satellite Imagery for Climate Visualizations

Björn Lütjens, Brandon Leshchinskiy+12 more|arXiv (Cornell University)|Apr 10, 2021

Flood Risk Assessment and Management被引用 35

一句话总结

本论文介绍一个物理信息驱动的 GAN 流水线（Earth Intelligence Engine），它生成未来沿海洪水的 Photorealistic 卫星图像，并与经验证的洪水模型（SLOSH）保持物理一致性。它还提供一个新的评估指标 FVPS，以及一个用于地球观测影像对影像翻译的开放数据集。

ABSTRACT

Deep generative vision models are now able to synthesize realistic-looking satellite imagery. But, the possibility of hallucinations prevents their adoption for risk-sensitive applications, such as generating materials for communicating climate change. To demonstrate this issue, we train a generative adversarial network (pix2pixHD) to create synthetic satellite imagery of future flooding and reforestation events. We find that a pure deep learning-based model can generate photorealistic flood visualizations but hallucinates floods at locations that were not susceptible to flooding. To address this issue, we propose to condition and evaluate generative vision models on segmentation maps of physics-based flood models. We show that our physics-conditioned model outperforms the pure deep learning-based model and a handcrafted baseline. We evaluate the generalization capability of our method to different remote sensing data and different climate-related events (reforestation). We publish our code and dataset which includes the data for a third case study of melting Arctic sea ice and $>$30,000 labeled HD image triplets -- or the equivalent of 5.5 million images at 128x128 pixels -- for segmentation guided image-to-image translation in Earth observation. Code and data is available at \url{https://github.com/blutjens/eie-earth-public}.

研究动机与目标

• 通过将沿海洪水以卫星图像形式可视化，而不是颜色编码的地图或街景视图，来推动更好的气候影响传播。
• 将物理基础的洪水模型输出与深度学习图像合成模型集成，以确保图像物理一致。
• 开发一个定量指标，联合评估生成图像的真实感和物理一致性。
• 展示对其他气候影响（如重新造林）的一般化，并发布用于地球观测影像到影像翻译的大型开放数据集。

提出的方法

• 将 pix2pixHD 扩展，使其在 1024×1024 分辨率下以洪水前图像和二值洪水范围图作为输入。
• 训练模型，使其输出的洪水后卫星图像在视觉上真实且与洪水范围图物理一致。
• 通过在生成图像中的水体与洪水图之间的 IoU 来定义物理一致性，使用洪水分割模型来计算水体掩模。
• 提出 Flood Visualization Plausibility Score (FVPS)，作为 IoU 与 (1 - LPIPS) 的调和平均，以联合评估物理一致性和真实感。
• 使用基于物理的洪水模型（SLOSH）生成二值洪水图和训练/评估的类似地面真值输入。
• 发布一个开放数据集，包含超过 25k 的带标签的图像三元组，以支持地球观测影像对影像翻译研究。

实验结果

研究问题

• RQ1 GAN 是否能够生成在物理一致性上与专家验证的洪水模型相符且具有真实感的洪水后卫星图像？
• RQ2 将物理基础的洪水图输入到条件输入中，相比基线方法，是否在物理一致性和真实感方面均有提升？
• RQ3 所提出的 FVPS 指标如何反映保真度与物理对齐的改进？
• RQ4 该方法是否能够推广到可视化其他气候影响，如重新造林？

主要发现

• 物理信息化 GAN 在后洪水影像的 IoU、LPIPS、FVPS 指标上优于没有物理信息的基线 GAN。
• 人工设计的基线可以实现物理一致性，但缺乏真实感，展示了典型可视化工具的权衡。
• 在高分辨率评估中，学习模型达到 IoU = 0.553、LPIPS = 0.263、FVPS = 0.532，优于基线。
• 与一个物理信息的 VAEGAN 相比，基于 GAN 的方法在大多数设置下提供更好的物理一致性和真实感。
• 数据集和模型可推广到重新造林可视化，并在色彩遮罩基线的改进方面有量化表现。
• 跨工具和地点的泛化是可行的，通过补充实验和一个 6500 图像三元组的 im2im 翻译数据集得到证明。