[論文レビュー] Generating Physically-Consistent Satellite Imagery for Climate Visualizations

Björn Lütjens, Brandon Leshchinskiy+12 more|arXiv (Cornell University)|Apr 10, 2021

Flood Risk Assessment and Management被引用数 35

ひとこと要約

この論文は、物理情報を取り入れた GAN パイプライン（Earth Intelligence Engine）を紹介し、未来の沿岸洪水のフォトリアリスティックな衛星画像を生成し、検証済みの洪水モデル（SLOSH）と物理的一貫性を確保します。また、FVPS という新しい評価指標と、地球観測画像間翻訳のための画像トリプレットの大規模オープンデータセットを提供します。

ABSTRACT

Deep generative vision models are now able to synthesize realistic-looking satellite imagery. But, the possibility of hallucinations prevents their adoption for risk-sensitive applications, such as generating materials for communicating climate change. To demonstrate this issue, we train a generative adversarial network (pix2pixHD) to create synthetic satellite imagery of future flooding and reforestation events. We find that a pure deep learning-based model can generate photorealistic flood visualizations but hallucinates floods at locations that were not susceptible to flooding. To address this issue, we propose to condition and evaluate generative vision models on segmentation maps of physics-based flood models. We show that our physics-conditioned model outperforms the pure deep learning-based model and a handcrafted baseline. We evaluate the generalization capability of our method to different remote sensing data and different climate-related events (reforestation). We publish our code and dataset which includes the data for a third case study of melting Arctic sea ice and $>$30,000 labeled HD image triplets -- or the equivalent of 5.5 million images at 128x128 pixels -- for segmentation guided image-to-image translation in Earth observation. Code and data is available at \url{https://github.com/blutjens/eie-earth-public}.

研究の動機と目的

• 気候影響の伝達を改善する動機づけとして、カラーコード地図や街路風景ではなく、衛星画像として沿岸洪水を視覚化する。
• 物理ベースの洪水モデルの出力と深層学習による画像合成モデルを統合し、物理的一貫性のある画像を保証する。
• 生成画像の写真リアリズムと物理的一貫性を同時に評価する定量指標を開発する。
• 再森林化など他の気候影響への一般化を示し、地球観測分野の画像対画像翻訳の大規模なオープンデータセットを公表する。

提案手法

• 洪水前画像と洪水存在マスクを1024×1024解像度で入力とするよう、pix2pixHD を拡張する。
• 洪水存在マップとフォトリアリスティックで物理的一貫性のある洪水後の衛星画像を生成するようモデルを訓練する。
• 生成画像の水域と洪水マップの IoU を水域マスクを計算する洪水セグメンテーションモデルを用いて定義し、物理的一貫性を評価する。
• FVPS（Flood Visualization Plausibility Score）を IoU と (1 - LPIPS) の調和平均として提案し、物理的一貫性と写真リアリズムを同時に評価する。
• 洪水モデル（SLOSH）を用いて二値洪水マップと訓練・評価用のグラウンドトゥルース風入力を生成する。
• 地球観測分野の画像対画像翻訳研究を支援するため、2.5万を超えるラベル付き画像トリプレットを含むオープンデータセットを公開する。

実験結果

リサーチクエスチョン

• RQ1 GAN が専門家検証済み洪水モデルと物理的一貫性を保つフォ post-flood 衛星画像を生成できるか？
• RQ2 conditioning 入力に物理ベースの洪水マップを組み込むと、物理的一貫性と現実性の双方がベースラインと比較して改善されるか？
• RQ3 提案された FVPS 指標は、忠実度と物理的整合性の改善をどの程度反映するか？
• RQ4 再森林化など他の気候影響の視覚化へ適用可能であるか？

主な発見

LPIPS 高解像度	LPIPS 低解像度	IoU 高解像度	IoU 低解像度	FVPS 高解像度	FVPS 低解像度
GAN w/ phys. (ours)	0.265	0.283	0.502	0.365	0.533	0.408
GAN w/o phys.	0.293	0.293	0.226	0.226	0.275	0.275
VAEGAN w/ phys.	0.449	-	0.468	-	0.437	-
Handcrafted baseline	0.399	0.415	0.470	0.361	0.411	0.359

• 物理情報を取り入れた GAN は、洪水後画像において IoU、LPIPS、FVPS の全てでベースラインの物理なしモデルを上回った。
• 手作りベースラインは物理的一貫性を達成できるが写真リアリズムが不足し、典型的な可視化ツールのトレードオフを示す。
• 学習済みモデルは高解像度評価で IoU = 0.553、LPIPS = 0.263、FVPS = 0.532 を達成し、ベースラインを上回る。
• 物理情報を取り入れた VAEGAN と比較して、GAN ベースのアプローチは多くの設定で物理的一貫性と写真リアリズムの両方で優れている。
• データセットとモデルは再森林化の視覚化にも一般化し、カラー マスクベースのベースラインよりも改善が定量化された。
• 機器と場所を跨る一般化が可能であることを補足実験と 6500-image-triplet im2im 翻訳データセットを通じて実証した。）