[논문 리뷰] Transferability and explainability of deep learning emulators for regional climate model projections: Perspectives for future applications

Jorge Baño‐Medina, Maialen Iturbide외 2명|arXiv (Cornell University)|2023. 11. 01.

Climate variability and models인용 수 4

한 줄 요약

이 연구는 지역 기후 모델(RCM) 예측을 위한 딥러닝 에뮬레이터의 이식성과 해석 가능성에 대해 평가하며, eXplainable AI(XAI) 기법을 사용하여 '완벽한 예측(PP)'과 '모델 출력 통계(MOS)'라는 두 가지 접근 방식을 비교한다. 연구 결과, PP 에뮬레이터는 다양한 기후 모델(GCM) 간에 더 높은 물리적 일관성과 부드러운 이식성을 보이며, MOS 에뮬레이터는 GCM에 의존적이고 물리적 일관성이 부족하여 새로운 기후 모델로의 일반화 능력이 제한됨을 확인하였다.

ABSTRACT

Regional climate models (RCMs) are essential tools for simulating and studying regional climate variability and change. However, their high computational cost limits the production of comprehensive ensembles of regional climate projections covering multiple scenarios and driving Global Climate Models (GCMs) across regions. RCM emulators based on deep learning models have recently been introduced as a cost-effective and promising alternative that requires only short RCM simulations to train the models. Therefore, evaluating their transferability to different periods, scenarios, and GCMs becomes a pivotal and complex task in which the inherent biases of both GCMs and RCMs play a significant role. Here we focus on this problem by considering the two different emulation approaches proposed in the literature (PP and MOS, following the terminology introduced in this paper). In addition to standard evaluation techniques, we expand the analysis with methods from the field of eXplainable Artificial Intelligence (XAI), to assess the physical consistency of the empirical links learnt by the models. We find that both approaches are able to emulate certain climatological properties of RCMs for different periods and scenarios (soft transferability), but the consistency of the emulation functions differ between approaches. Whereas PP learns robust and physically meaningful patterns, MOS results are GCM-dependent and lack physical consistency in some cases. Both approaches face problems when transferring the emulation function to other GCMs, due to the existence of GCM-dependent biases (hard transferability). This limits their applicability to build ensembles of regional climate projections. We conclude by giving some prospects for future applications.

연구 동기 및 목표

• 다양한 글로벌 기후 모델(GCM), 시나리오, 시간대에 걸쳐 지역 기후 모델(RCM) 예측을 위한 딥러닝 에뮬레이터의 이식성을 평가하기 위해.
• eXplainable AI(XAI) 기법을 활용해 학습된 에뮬레이션 함수의 물리적 일관성을 평가하기 위해.
• 완벽한 예측(PP)과 모델 출력 통계(MOS)라는 두 가지 RCM 에뮬레이션 접근 방식의 성능 및 신뢰성을 비교하기 위해.
• GCM-RCM 편향 불일치로 인한 에뮬레이터 일반화의 한계를 규명하고 향후 적용을 위한 길을 제안하기 위해.

제안 방법

• 단일 GCM에 의해 구동되는 짧은 RCM 시뮬레이션을 기반으로 딥러닝 에뮬레이터를 훈련하여 대기 예측자와 고해상도 표면 변수(예: 기온, 강수량) 간의 매핑을 학습하기 위해.
• 두 가지 다른 에뮬레이션 프레임워크를 적용: PP는 확대된 RCM 필드를 예측자로 사용하고, MOS는 GCM 필드를 예측자로 사용함.
• 해석 가능성과 유효성을 검증하기 위해 시각화 기법인 샐런시 맵과 특성 기여도와 같은 eXplainable AI(XAI) 기법을 활용함.
• 새로운 GCM, 시나리오, 시간대에 대해 에뮬레이터를 테스트하여 부드러운 이식성 평가를 수행함.
• 표준 평가 지표와 예측자 패턴의 물리적 일관성을 기반으로 모델 성능을 평가함.
• 에뮬레이터 이식성에 영향을 미치는 GCM와 RCM 간의 구조적 차이(예: 에어로졸 표현 방식, 대기 물리학)를 탐색함.

Figure 1: Schematic representation of the deep statistical emulator training workflows for the (a) MOS and (b) PP approaches. Arrows indicate the workflow. Details on the convolutional neural network model used are included in the figure: numbers on top of the convolutional layers represent their si

실험 결과

연구 질문

• RQ1 한 GCM-RCM 조합에서 훈련된 딥러닝 에뮬레이터가 다른 GCM와 시나리오로 신뢰성 있게 이식 가능한가?
• RQ2 XAI 기법을 통해 드러난 바에 따르면, PP와 MOS 에뮬레이터가 학습한 관계는 얼마나 물리적으로 일관성이 있는가?
• RQ3 PP와 MOS 에뮬레이터가 새로운 GCM로의 하드 이식성에 실패하는 이유는 무엇이며, GCM-RCM 편향 불일치는 어떤 역할을 하는가?
• RQ4 훈련용 GCM의 선택이 MOS 기반 에뮬레이터의 성능과 해석 가능성에 어느 정도 영향을 미치는가?
• RQ5 다양한 GCM-RCM 조합 간의 일반화를 향상시키기 위한 실현 가능한 전략은 무엇인가?

주요 결과

• PP 접근 방식은 다양한 구동 GCM 간에 일관된 물리적 의미 있는 예측자 패턴을 학습하여 에뮬레이션 과정에 대한 신뢰도를 높임.
• MOS 접근 방식은 일부 경우에서 물리적 일관성이 부족한 GCM 의존적 패턴을 생성하여 GCM 간 이식성에 있어 덜 신뢰할 수 있음.
• 두 에뮬레이터 모두 공통된 기후 특성 덕분에 새로운 시나리오와 기간에 대해 부드러운 이식성을 보이며 합리적인 성능을 발휘함.
• 새로운 GCM로의 하드 이식성 실패는 RCM가 GCM 편향에 대해 다르게 반응하기 때문이며, 특히 에어로졸 표현 방식과 같은 구조적 차이가 주요 원인임.
• 다른 GCM에 대한 RCM 반응의 불일치로 인해 신뢰할 수 있는 외삽이 어려워져 현재의 에뮬레이터는 GCM-RCM 조합 행렬을 모두 메우는 데 제한됨.
• 향후 향상 방안으로 다양한 GCM 편향에 기반한 훈련 또는 재분석 기반의 완벽한 경계 조건 사용이 고려될 수 있으나, 각각 정확도와 기후 외삽 능력 간의 상충 요소를 수반함.

Figure 2: Experimental evaluation workflows to assess the performance of RCM emulators in (a-b) cross-validation and (c-d) transferability conditions for both PP and MOS approaches. Hard (inter-GCM) transferability (d) assesses the performance of RCM emulators when applied to predictors from differe