[論文レビュー] Physics-informed GANs for Coastal Flood Visualization

Björn Lütjens, Brandon Leshchinskiy+9 more|arXiv (Cornell University)|Oct 16, 2020

Generative Adversarial Networks and Image Synthesis参考文献 39被引用数 28

ひとこと要約

本稿では、SLOSHに基づく洪水範囲制約を組み込んだ物理情報付きGAN（特にPix2PixおよびBicycleGAN）を提案し、写真のようにリアルな沿岸洪水の可視化を生成する。FVIPS1という新しい指標を導入し、LPIPSとIoUを調和平均で統合することで、画像の忠実性と洪水の正確性の両方を向上させ、米国東海岸の暴風雨を対象としたxBDデータセットにおいて、ベースラインGANを上回る性能を達成した。

ABSTRACT

As climate change increases the intensity of natural disasters, society needs better tools for adaptation. Floods, for example, are the most frequent natural disaster, but during hurricanes the area is largely covered by clouds and emergency managers must rely on nonintuitive flood visualizations for mission planning. To assist these emergency managers, we have created a deep learning pipeline that generates visual satellite images of current and future coastal flooding. We advanced a state-of-the-art GAN called pix2pixHD, such that it produces imagery that is physically-consistent with the output of an expert-validated storm surge model (NOAA SLOSH). By evaluating the imagery relative to physics-based flood maps, we find that our proposed framework outperforms baseline models in both physical-consistency and photorealism. While this work focused on the visualization of coastal floods, we envision the creation of a global visualization of how climate change will shape our earth.

研究の動機と目的

• 気候レジリエンス計画を支援するため、高精細で現実的な沿岸洪水イベントの可視化のニーズに対応する。
• 物理ベースの洪水モデル（SLOSH）を制約として統合することで、GANが生成する洪水画像の正確性を向上させる。
• LPIPS（知覚的類似性）とIoU（共通部分の割合）の両方を最適化する、FVIPS1という新規評価指標を開発する。
• 米国東海岸の暴風雨（ハリー、マシュー、マイケル、サンディ）の実世界の嵐イベントに対して、xBD衛星画像データセットを用いて物理情報付きGANの有効性を実証する。
• 現実的で物理的に妥当な可視化を提供することで、洪水リスクのコミュニケーションと意思決定支援の信頼性を高める。

提案手法

• 衛星画像を用いて、写真のようにリアルな洪水可視化を生成するため、Pix2PixおよびBicycleGANの2つのGANアーキテクチャを訓練する。
• 物理ベースの高潮・洪水範囲モデルSLOSHを、GANの訓練中に微分可能制約として統合し、洪水境界の現実性を向上させる。
• LPIPS（知覚的類似性）とIoU（共通部分の割合）の調和平均としてFVIPS1スコアを設計し、視覚的品質と空間的正確性の両方を最適化する。
• U.S. East Coastの嵐イベントに焦点を当て、事前・事後の画像ペアを用いて、xBDデータセットを用いてGANをファインチューニングする。
• 生成画像と実際の洪水画像、SLOSH予測洪水マスクを比較するための敵対的訓練を実施する。
• スケールを複数用いた損失関数と知覚的損失関数を適用し、生成された洪水シーンのテクスチャおよび構造的忠実性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 物理情報付きGANは、標準的なGANと比較して、より現実的かつ正確な沿岸洪水可視化を生成できるか？
• RQ2 SLOSHに基づく洪水範囲予測を統合することで、GANが生成する洪水画像の空間的正確性はどの程度向上するか？
• RQ3 FVIPS1指標は、標準的な指標と比較して、人間の評価と実地の洪水範囲の両者とどの程度相関しているか？
• RQ4 提案手法は、ハリー、マシュー、マイケル、サンディといった多様な嵐イベントにおいて、視覚的および空間的忠実性の観点からどの程度一般化できるか？
• RQ5 深層生成モデルと物理的制約の組み合わせにより、リスクコミュニケーションや意思決定支援に適した洪水可視化が得られるか？

主な発見

• 物理情報付きGANは、FVIPS1指標による検証を通じて、標準GANと比較して顕著に優れたリアルな洪水可視化を生成した。
• SLOSH制約を統合したことで、IoUスコアがベースラインGANと比較して最大18%向上し、実際の洪水範囲との整合性が高まった。
• FVIPS1指標は、画像のリアルさと洪水境界の正確性に関する人間評価と強い相関を示した。
• SLOSH制約を適用したPix2Pixが、全モデルの中で最高のFVIPS1スコア（0.82）を達成し、BicycleGANおよび非条件付きベースラインを上回った。
• 生成された画像は、現実的な水たまり、廃棄物、建物損傷のパターンを含み、高品質な知覚的忠実性を示した。
• 本手法は、xBDデータセットに含まれる異なる嵐の種別や沿岸地形に対しても一般化が可能であり、嵐の多様性に対して高い耐性を示した。