[논문 리뷰] Generating Physically-Consistent Satellite Imagery for Climate Visualizations

Björn Lütjens, Brandon Leshchinskiy외 12명|arXiv (Cornell University)|2021. 04. 10.

Flood Risk Assessment and Management인용 수 35

한 줄 요약

이 논문은 물리적으로 정보를 반영하는 GAN 파이프라인(Earth Intelligence Engine)을 도입하여 미래 해안 홍수의 포토리얼리스틱 위성 이미지를 생성하고 검증된 홍수 모델(SLOSH)과 물리적 일관성을 보장합니다. 또한 FVPS 평가 지표와 지구 관측 이미지-투-이미지 번역용 25k+ 이미지 트리플렛 데이터셋도 제공합니다.

ABSTRACT

Deep generative vision models are now able to synthesize realistic-looking satellite imagery. But, the possibility of hallucinations prevents their adoption for risk-sensitive applications, such as generating materials for communicating climate change. To demonstrate this issue, we train a generative adversarial network (pix2pixHD) to create synthetic satellite imagery of future flooding and reforestation events. We find that a pure deep learning-based model can generate photorealistic flood visualizations but hallucinates floods at locations that were not susceptible to flooding. To address this issue, we propose to condition and evaluate generative vision models on segmentation maps of physics-based flood models. We show that our physics-conditioned model outperforms the pure deep learning-based model and a handcrafted baseline. We evaluate the generalization capability of our method to different remote sensing data and different climate-related events (reforestation). We publish our code and dataset which includes the data for a third case study of melting Arctic sea ice and $>$30,000 labeled HD image triplets -- or the equivalent of 5.5 million images at 128x128 pixels -- for segmentation guided image-to-image translation in Earth observation. Code and data is available at \url{https://github.com/blutjens/eie-earth-public}.

연구 동기 및 목표

• 기후 영향 커뮤니케이션을 개선하기 위해 색상 코드 매핑 맵이나 거리 뷰 대신 위성 이미지를 통해 해안 홍수를 시각화하는 것을 고무한다.
• 물리 기반 홍수 모델 출력과 심층 학습 이미지 합성 모델을 통합하여 물리적으로 일관된 이미지를 보장한다.
• 생성 이미지의 포토리얼리즘과 물리적 일관성을 함께 평가하는 정량적 지표를 개발한다.
• 재조림과 같은 다른 기후 영향에 대한 일반화 가능성을 보여주고 지구 관측 이미지-투-이미지 번역용 대규모 공개 데이터셋을 publishing한다.

제안 방법

• 1024×1024 해상도에서 전 홍수 입력 이미지와 이진 홍수 범위 맵을 입력으로 받도록 pix2pixHD를 확장한다.
• 포스트 홍수 위성 이미지를 포토리얼리스틱하고 홍수 범위 맵과 물리적으로 일치하도록 모델을 학습한다.
• 생성된 이미지의 물 속과 홍수 맵 간 IoU를 통해 물리적 일관성을 정의하고 물 분할 모델을 사용해 물 마스크를 계산한다.
• IoU와 (1 - LPIPS)의 조화 평균으로 물리적 일관성과 포토리얼리즘을 공동 평가하는 회전 가능한 FVPS를 제안한다.
• SLOSH와 같은 물리 기반 홍수 모델을 사용해 이진 홍수 맵과 학습 및 평가를 위한 ground-truth 유사 입력을 생성한다.
• 25k개 이상 라벨링된 이미지-트리플릿으로 구성된 공개 데이터셋을 공개하여 지구 관측 이미지-투-이미지 번역 연구를 지원한다.

실험 결과

연구 질문

• RQ1 GAN이 포스트 홍수 위성 이미지를 생성할 때 포토리얼리스틱하고 전문가가 검증한 홍수 모델과 물리적으로 일치할 수 있는가?
• RQ2 conditioning 입력에 물리 기반 홍수 맵을 포함시키면 물리적 일관성과 리얼리즘이 베이스라인보다 개선되는가?
• RQ3 제안된 FVPS 지표가 충실도와 물리적 정렬의 개선을 어떻게 반영하는가?
• RQ4 재조림과 같은 다른 기후 영향을 시각화하는 데도 이 접근법이 일반화될 수 있는가?

주요 결과

• 물리 정보를 반영한 GAN은 post-flood 이미지에서 IoU, LPIPS, FVPS에서 베이스라인 GAN보다 우수한 성능을 보인다.
• 수작업 기반 베이스라인은 물리적 일관성은 보이지만 포토리얼리즘은 부족하여 일반 시각화 도구의 트레이드를 보여준다.
• 학습된 모델은 고해상도 평가에서 IoU = 0.553, LPIPS = 0.263, FVPS = 0.532를 달성하며 베이스라인을 능가한다.
• 물리 정보 기반 VAEGAN과 비교할 때 대부분의 설정에서 GAN 기반 접근이 물리적 일관성과 포토리얼리즘 측면에서 더 우수하다.
• 데이터셋과 모델은 재조림 시각화로 일반화되며 색상 마스킹 기반 베이스라인 대비 정량적 개선이 있다.
• 도구와 위치 간 일반화 가능성이 있으며 보조 실험과 6500이미지-트리플렛 im2im 번역 데이터세트를 통해 시연되었다.