[논문 리뷰] Loosely Conditioned Emulation of Global Climate Models With Generative Adversarial Networks

Alexis Ayala, Christopher Drazic외 3명|arXiv (Cornell University)|2021. 04. 29.

Climate variability and models참고 문헌 46인용 수 5

한 줄 요약

이 논문은 3D 컨볼루션과 계단식 레이어 추가 방식을 사용한 점진적 블록 기반 훈련을 통해 전 세계 기후 모델의 일일 강수량 출력을 모의하는 느슨하게 조건화된 생성적 적대적 네트워크(GAN)를 제안한다. GAN은 몇 초 내에 고해상도의 통계적으로 현실적인 시공간 강수 시계열을 생성하며, 극단적 사건 통계(예: 가뭄 기간, 건조일 수)에서 기후 모델 출력과 강한 유사성을 보인다.

ABSTRACT

Climate models encapsulate our best understanding of the Earth system, allowing research to be conducted on its future under alternative assumptions of how human-driven climate forces are going to evolve. An important application of climate models is to provide metrics of mean and extreme climate changes, particularly under these alternative future scenarios, as these quantities drive the impacts of climate on society and natural systems. Because of the need to explore a wide range of alternative scenarios and other sources of uncertainties in a computationally efficient manner, climate models can only take us so far, as they require significant computational resources, especially when attempting to characterize extreme events, which are rare and thus demand long and numerous simulations in order to accurately represent their changing statistics. Here we use deep learning in a proof of concept that lays the foundation for emulating global climate model output for different scenarios. We train two "loosely conditioned" Generative Adversarial Networks (GANs) that emulate daily precipitation output from a fully coupled Earth system model: one GAN modeling Fall-Winter behavior and the other Spring-Summer. Our GANs are trained to produce spatiotemporal samples: 32 days of precipitation over a 64x128 regular grid discretizing the globe. We evaluate the generator with a set of related performance metrics based upon KL divergence, and find the generated samples to be nearly as well matched to the test data as the validation data is to test. We also find the generated samples to accurately estimate the mean number of dry days and mean longest dry spell in the 32 day samples. Our trained GANs can rapidly generate numerous realizations at a vastly reduced computational expense, compared to large ensembles of climate models, which greatly aids in estimating the statistics of extreme events.

연구 동기 및 목표

• 장기 시뮬레이션과 극단적 사건 분석을 위한 전 세계 기후 모델의 높은 계산 비용을 해결하기 위해.
• 비정상성과 극단적 현상을 포함한 일일 강수량의 복잡한 시공간 패턴을 포괄하는 데이터 기반 에뮬레이터를 개발하기 위해.
• 기존의 패턴 스케일링이나 스토케스틱_WEATHER_GENERATOR 등의 전통적 에뮬레이터의 한계를 극복하고, 딥러닝을 활용해 전 세계적이고 고해상도의 출력을 가능하게 하기 위해.
• 상세한 지구 시스템 모델의 출력과 통계적으로 구별할 수 없을 정도로 유사한 강수 시계열을 GAN 기반 접근 방식이 생성할 수 있음을 입증하기 위해.
• 통합 평가 모델링 및 기후 영향 연구에서 확장 가능하고, 신속하고 정확한 시나리오 생성 기반을 마련하기 위해.

제안 방법

• BigGAN 아키텍처를 기반으로 한 3D 컨볼루션 GAN을 훈련하며, 20개의 레이어를 다섯 개의 블록으로 구성하고, 각 블록이 공간 해상도를 4×8에서 64×128으로 점진적으로 증가시킨다.
• 각 블록을 별도로 훈련하고, 12,800번의 업데이트 동안 점진적으로 페이딩 인(fading-in) 방식으로 전체 모델에 통합하는 점진적 훈련 전략을 사용한다.
• 시간(일일) 및 공간(격자) 차원을 동시에 모델링하기 위해 3D 컨볼루션을 적용하며, 첫 번째 블록에서부터 전체 시간 해상도(T=32일)를 유지한다.
• 생성자와 대칭된 아키텍처를 가진 크리틱 네트워크를 사용하며, Leaky ReLU를 적용하고 배치 정규화를 사용하지 않으며, 생성자 업데이트마다 3번씩 업데이트한다.
• 블록 추가 시 가중치 페이딩을 구현하여 훈련 안정성을 높이고, 무작위로 초기화된 가중치로 인한 교란을 방지한다.
• AdamW를 최적화 방법으로 사용하며, 학습률은 8e-5, 기울기 페널티는 20.0(마지막 블록은 40.0), 검증 데이터 기반 시공간 KL 발산을 통한 조기 종료 전략을 적용한다.

실험 결과

연구 질문

• RQ1 GAN 기반 에뮬레이터는 고해상도 지구 시스템 모델의 출력과 통계적으로 구별할 수 없을 정도로 전 세계 일일 강수 시계열을 생성할 수 있는가?
• RQ2 건조일 수와 가장 긴 가뭄 기간 등 극단적 사건 통계를 다양한 기후 지역에서 얼마나 잘 포착하는가?
• RQ3 레이어의 점진적 추가와 페이딩 인 전략이 종단간 훈련 대비 샘플 품질과 훈련 안정성에 유의미한 향상을 가져오는가?
• RQ4 특히 에쿼터리얼 태평양과 같은 도전적인 지역에서 모델이 강수의 공간 패턴과 시간 역학을 얼마나 잘 유지하는가?
• RQ5 기후 영향 모델링 및 시나리오 분석에서 정밀도를 유지하면서도 계산 비용을 크게 줄일 수 있는가?

주요 결과

• GAN은 기후 모델 출력과 통계적으로 구별할 수 없을 정도로 정밀한 강수 시계열을 생성하며, 건조일과 가장 긴 가뭄 기간의 경험적 누적분포함수(eCDF)에 대해 최소한의 발산을 보였다.
• 덴버와 런던에서 생성된 데이터의 eCDF는 테스트 및 검증 세트와 거의 일치하며, 건조일과 가뭄 기간 수치에 대해 약간의 과대평가가 있었지만, 4096개의 샘플 기준 몇 일 이내의 오차로 제한되었다.
• 모델은 지역적 패턴을 성공적으로 포착하였으며, 특히 남미의 서부 태평양 열대 해역에서의 강수 시뮬레이션 어려움은 생성된 데이터와 테스트 데이터 모두에서 동일한 도전 과제로 남아 있었다.
• 페이딩 인 전략을 통한 점진적 훈련은 DeepClimGAN과 같은 이전 접근 방식 대비 훈련 안정성과 샘플 품질을 크게 향상시켰다.
• 생성자는 랩톱에서 몇 초 내에 64×128 공간 격자에 대한 32일 분량의 고해상도 시계열을 생성하며, 전체 기후 모델 시뮬레이션 대비 약 1000배의 속도 향상을 달성했다.
• 4일 분량의 강수 시계열을 시각적으로 비교한 결과, 모든 계절에서 생성된 데이터와 테스트 데이터 사이에 강한 정성적 유사성이 있었으며, 현실적인 공간적 및 시간적 역학을 잘 반영하였다.