[논문 리뷰] Climate-Invariant Machine Learning

Tom Beucler, Pierre Gentine외 11명|arXiv (Cornell University)|2021. 12. 14.

Climate variability and models인용 수 28

한 줄 요약

본 논문은 기후 불변 ML을 소개하는데, 이는 입력/출력을 물리적으로 정보에 기반한 프레임워크로 변환하여 기후 간 학습 맵을 안정적으로 유지하고, 세 가지 대기 모델에서 서브그리드 폐쇄의 일반화를 개선한다.

ABSTRACT

Projecting climate change is a generalization problem: we extrapolate the recent past using physical models across past, present, and future climates. Current climate models require representations of processes that occur at scales smaller than model grid size, which have been the main source of model projection uncertainty. Recent machine learning (ML) algorithms hold promise to improve such process representations, but tend to extrapolate poorly to climate regimes they were not trained on. To get the best of the physical and statistical worlds, we propose a new framework - termed "climate-invariant" ML - incorporating knowledge of climate processes into ML algorithms, and show that it can maintain high offline accuracy across a wide range of climate conditions and configurations in three distinct atmospheric models. Our results suggest that explicitly incorporating physical knowledge into data-driven models of Earth system processes can improve their consistency, data efficiency, and generalizability across climate regimes.

연구 동기 및 목표

• 기후 체제 전반에 걸쳐 일반화하고 기후 예측의 외삽 오차를 줄이는 ML 모델의 필요성을 동기부여한다.
• 입력/출력 분포를 기후 간에 정렬하기 위해 기후-불변 변환을 정의하고 구현한다.
• 여러 대기 모델과 구성에서 기후-불변 ML 폐쇄의 강건성과 일반화를 입증한다.
• 물리적 변환과 정규화를 결합할 때 데이터 효율성 및 기후 간 전이를 향상시키는지 탐구한다.

제안 방법

• 입력/출력을 변환하여 기후 간 분포 차이를 최소화함으로써 기후-불변 매핑 개념을 도입한다.
• 상대 습도, moist static energy buoyancy, 그리고 근표면 잠열 유출과 같은 입력에 대한 물리적으로 정보에 기반한 변환을 개발한다.
• SPCAM3, SPCESM2, SAM의 세 가지 폭풍 해상 모델에서 냉성/참조/온난 기후 실행으로 ML 폐쇄를 학습하고 평가한다.
• 기후-불변 모델(CI)과 원시 데이터 모델(RD)을 비교하고 정규화(Batch Normalization, Dropout)의 영향을 평가한다.
• 서브그리드 가열 및 습화 경향 등 지구 시스템 관련 출력을 사용하여 일반화를 평가한다.
• SHAP 기반의 설명 가능한 AI를 적용하여 왜 기후-불변 매핑이 기후 간 일반화가 더 잘 되는지 해석한다.

실험 결과

연구 질문

• RQ1 물리적으로 정보에 기반한 입력 변환이 서브그리드 폐쇄를 위한 ML 매핑을 기후 간에 안정시키는가?
• RQ2 기후-불변 변환이 서로 다른 기후 체제 및 구성을 넘어선 분포 외 일반화를 더 잘 가능하게 하는가?
• RQ3 정규화 기법이 기후-불변 입력과 어떻게 상호작용하여 일반화에 영향을 미치는가?
• RQ4 기후-불변 매핑은 원시 데이터 매핑과 비교하여 어떤 구조적 차이를 보이는가?

주요 결과

• 기후 정보 기반 함수로 입력을 변환하는 것이 ML 폐쇄의 기후 간 일반화를 크게 향상시킨다.
• 기후-불변 NN은 냉한 기후에서 학습된 경우 온난한 기후로 일반화할 때 오차가 원시 데이터 NN에 비해 현저히 낮다.
• 기후-불변 변환과 정규화(BN, DP)를 결합하면 기후와 구성에 걸쳐 최상의 일반화를 얻는다.
• CI 매핑은 공간적으로 더 국소적인 경향이 있어 SHAP 분석을 통한 해석 가능성을 높인다.
• CI 모델은 RD 모형이 일반적으로 겪는 외삽 위험을 피하면서도 따뜻한 기후 학습 성능과 경쟁력을 유지한다.