[論文レビュー] ClimateGAN: Raising Climate Change Awareness by Generating Images of Floods

Victor Schmidt, Alexandra Sasha Luccioni+9 more|arXiv (Cornell University)|Oct 6, 2021

Multimodal Machine Learning Applications被引用数 9

ひとこと要約

ClimateGANは、二段階フレームワークを用いて、実世界のストリートビュー画像に写真のようにリアルな洪水効果を合成する画期的な生成モデルを提案する。まずマスク生成器（Masker）が洪水の発生しやすい領域を予測し、次にペインター（Painter）がリアルな水のテクスチャを生成する。人間による評価において、多様な都市、準都市的、農村的景観において優れたリアルさと頑健性を示し、既存手法を上回る性能を発揮した。

ABSTRACT

Climate change is a major threat to humanity, and the actions required to prevent its catastrophic consequences include changes in both policy-making and individual behaviour. However, taking action requires understanding the effects of climate change, even though they may seem abstract and distant. Projecting the potential consequences of extreme climate events such as flooding in familiar places can help make the abstract impacts of climate change more concrete and encourage action. As part of a larger initiative to build a website that projects extreme climate events onto user-chosen photos, we present our solution to simulate photo-realistic floods on authentic images. To address this complex task in the absence of suitable training data, we propose ClimateGAN, a model that leverages both simulated and real data for unsupervised domain adaptation and conditional image generation. In this paper, we describe the details of our framework, thoroughly evaluate components of our architecture and demonstrate that our model is capable of robustly generating photo-realistic flooding.

研究の動機と目的

• 気候変動の心理的距離感を解消し、その影響をより具体的に感じ取れるように可視化することで、その影響をより身近に感じてもらう。
• ユーザーが任意の実世界の場所に対して、Googleストリートビュー画像を用いて洪水効果を可視化できるシステムを開発すること。
• 対応する実際の洪水データが不足している問題を克服するため、仮想世界のシミュレート済みデータと実画像を、非教師ありドメイン適応によって統合する。
• 都市的、準都市的、農村的景観を含む多様なシーンにおいて、リアルな洪水効果を生成できる頑健で汎用性の高いフレームワークを構築すること。
• 真の洪水データが入手できない状況下で、人間による評価とアブレーションスタディを用いてモデルを評価すること。

提案手法

• 洪水生成を二つのコンponentに分解する：洪水影響領域を予測するマスク生成器（Masker）と、リアルな水のテクスチャを生成するペインター（Painter）。
• 仮想3次元世界から得た擬似ラベルを用いて、深度推定、セマンティックセグメンテーション、洪水マスク予測のマルチタスク学習によりマスク生成器を訓練する。
• 実画像とシミュレート済み画像の間の特徴を一致させるためにドメイン適応技術（DADA）を適用し、実画像への一般化性能を向上させる。
• ペインターのネットワークにSPADE（空間的に適応的なバッチ正則化）を導入し、入力画像と予測された洪水マスクの両方を条件として画像生成を制御する。
• 画像品質と構造的整合性を向上させるために、サイクル整合性損失と adversarial 学習を実装する。
• 3次元仮想世界から得た10,000枚のシミュレート済み洪水画像に加え、対応する深度マップとセグメンテーションマップを含む独自のデータセットを活用する。

実験結果

リサーチクエスチョン

• RQ1 対応する実際の洪水データが存在しない状況下でも、生成モデルが実世界のストリートビュー画像に写真のようにリアルな洪水可視化を生成できるか？
• RQ2 提案されたマスク生成器・ペインターのアーキテクチャは、既存の画像対画像変換手法と比較して、どれほどリアルな洪水マスクとテクスチャを生成できるか？
• RQ3 幾何的（深度）およびセマンティック的（セグメンテーション）情報を取り入れることで、洪水マスク予測の正確性はどの程度向上するか？
• RQ4 人間評価者は、ClimateGANが生成した洪水画像のリアルさを、ベースラインモデルのものと比較してどの程度高く評価するか？
• RQ5 生成パイプラインにおいて、専用のマスク生成器を使用するのと、市販のセグメンテーションモデルに依存するのとでは、性能にどのような差が生じるか？

主な発見

• ClimateGANは、人間による評価において5つのベースラインモデルを大きく上回り、生成された洪水画像の好まれる割合が70％を超える一貫した優位性を示した。
• マスク生成器に深度とセマンティック特徴を統合することで、特に複雑な都市環境において洪水マスク予測の正確性が向上した。
• ペインターが真のマスクを入力として与えられた場合、非常にリアルな水のテクスチャを生成でき、強力な生成能力を示した。
• マスク生成器とペインターの組み合わせにより、より優れた結果が得られ、正確な洪水領域の予測がテクスチャ生成の質を向上させることを実証した。
• アブレーションスタディの結果、擬似ラベルの使用、DADAによるドメイン整合、SPADEによる条件付き生成がモデル性能に不可欠であることが確認された。
• 実洪水データが限られているにもかかわらず、農村的、準都市的、都市的など多様なシーンタイプにわたり、モデルは頑健に一般化した。