[论文解读] ClimateGAN: Raising Climate Change Awareness by Generating Images of Floods

Victor Schmidt, Alexandra Sasha Luccioni+9 more|arXiv (Cornell University)|Oct 6, 2021

Multimodal Machine Learning Applications被引用 9

一句话总结

ClimateGAN 提出了一种新颖的生成模型，通过两阶段框架在真实街景图像上合成逼真的洪水效果：首先由 Masker 预测易受洪水影响的区域，再由 Painter 生成逼真的水体纹理。该模型在人类评估中优于现有方法，展现出在各类城市、郊区和乡村场景中的强大真实感与鲁棒性。

ABSTRACT

Climate change is a major threat to humanity, and the actions required to prevent its catastrophic consequences include changes in both policy-making and individual behaviour. However, taking action requires understanding the effects of climate change, even though they may seem abstract and distant. Projecting the potential consequences of extreme climate events such as flooding in familiar places can help make the abstract impacts of climate change more concrete and encourage action. As part of a larger initiative to build a website that projects extreme climate events onto user-chosen photos, we present our solution to simulate photo-realistic floods on authentic images. To address this complex task in the absence of suitable training data, we propose ClimateGAN, a model that leverages both simulated and real data for unsupervised domain adaptation and conditional image generation. In this paper, we describe the details of our framework, thoroughly evaluate components of our architecture and demonstrate that our model is capable of robustly generating photo-realistic flooding.

研究动机与目标

• 通过可视化手段缓解气候变化带来的心理疏离效应，使其影响更加具体可感。
• 开发一个系统，使用户能够通过谷歌街景图像在任意选定的真实地理位置上可视化洪水影响。
• 通过无监督域自适应技术，将模拟的虚拟世界数据与真实图像相结合，以克服真实洪水配对数据的缺乏。
• 构建一个鲁棒且可泛化的框架，用于在多样化的城市、郊区和乡村场景中生成逼真的洪水效果。
• 在缺乏真实洪水数据的情况下，通过人类评估与消融研究对模型进行评估。

提出的方法

• 将洪水生成过程分解为两个组件：Masker 用于预测洪水影响区域，Painter 用于生成逼真的水体纹理。
• 采用多任务学习设置训练 Masker，同时进行深度预测、语义分割和洪水掩码预测，使用来自 3D 虚拟世界的伪标签。
• 应用领域自适应技术（DADA）对齐真实与模拟域之间的特征，提升模型在真实图像上的泛化能力。
• 在 Painter 网络中使用 SPADE（空间自适应批归一化）技术，使其基于输入图像和预测的洪水掩码进行条件生成。
• 实施循环一致性损失与对抗性训练，以提升图像质量与结构保真度。
• 利用一个包含 10,000 张来自 3D 虚拟世界的模拟洪水图像的自定义数据集，附带对应的深度图与语义分割图。

实验结果

研究问题

• RQ1 生成模型是否能在无真实洪水配对训练数据的情况下，生成逼真的洪水可视化效果？
• RQ2 与现有图像到图像翻译方法相比，所提出的 Masker-Painter 架构在生成逼真洪水掩码与纹理方面的有效性如何？
• RQ3 融合几何（深度）与语义（分割）信息在多大程度上提升了洪水掩码预测的准确性？
• RQ4 人类评估者如何评价 ClimateGAN 生成的洪水图像的真实感，相较于基线模型的表现如何？
• RQ5 在生成流程中，使用专用 Masker 与依赖现成分割模型相比，其影响如何？

主要发现

• 在人类评估中，ClimateGAN 显著优于五种基线模型，其生成的洪水图像获得超过 70% 的一致偏好率。
• 将深度与语义特征整合到 Masker 中，显著提升了洪水掩码预测的准确性，尤其在复杂的城市环境中表现更优。
• 当提供真实掩码时，仅 Painter 模型即可生成高度逼真的水体纹理，表明其具备强大的生成能力。
• Masker 与 Painter 的结合产生了更优的结果，证明准确的洪水区域预测能显著提升纹理生成质量。
• 消融研究证实，使用伪标签、DADA 进行域对齐以及 SPADE 实现条件生成，是模型性能的关键因素。
• 尽管真实洪水数据有限，该模型在包括乡村、郊区和城市在内的多种场景类型中仍表现出良好的泛化能力。