[논문 리뷰] Achieving Conservation of Energy in Neural Network Emulators for Climate Modeling

Tom Beucler, Stephan Rasp외 2명|arXiv (Cornell University)|2019. 06. 15.

Meteorological Phenomena and Simulations참고 문헌 9인용 수 103

한 줄 요약

논문은 기후 모델의 신경망 에뮬레이터에서 선형 보존 법칙을 강제하는 두 가지 방법을 제시합니다: 손실 함수 제약과 네트워크 아키텍처 제약을 통해 아키텍처 제약이 보존의 정밀성과 기후 변화 시나리오에 대한 일반화 향상을 보여줍니다.

ABSTRACT

Artificial neural-networks have the potential to emulate cloud processes with higher accuracy than the semi-empirical emulators currently used in climate models. However, neural-network models do not intrinsically conserve energy and mass, which is an obstacle to using them for long-term climate predictions. Here, we propose two methods to enforce linear conservation laws in neural-network emulators of physical models: Constraining (1) the loss function or (2) the architecture of the network itself. Applied to the emulation of explicitly-resolved cloud processes in a prototype multi-scale climate model, we show that architecture constraints can enforce conservation laws to satisfactory numerical precision, while all constraints help the neural-network better generalize to conditions outside of its training set, such as global warming.

연구 동기 및 목표

• 클라우드 프로세스를 위한 기후 모델에서 데이터 기반 신경 에뮬레이터의 사용을 동기부여하고 에너지/질량 보존 문제를 다룬다.
• 신경망에서 물리적 제약을 강제하는 두 가지 방법 제안: 손실 함수 제약과 아키텍처 기반 보존 레이어.
• 프로토타입 다중 스케일 기후 모델의 대류 매개변수화에 방법 시연.
• 제약이 수치 보존성과 온난화 시나리오로의 일반화에 미치는 영향 평가.

제안 방법

• 입력과 출력 사이의 선형 관계식 C[x; y] = 0 로 물리적 제약을 형식화한다.
• 표준 신경망(NNU)을 MSE를 목적함수로 학습한다.
• 제약 손실(NNL)을 도입하고: 손실에 페널티 P = ||C[x; y_NN]||를 가중치 α와 함께 추가한다.
• 제약 아키텍처 네트워크(NNA)를 도입하고, forward pass 동안 제약된 출력 구성요소를 해석하여 C[x; y_NN] = 0 를 강제하는 n개의 보존 레이어를 포함한다.
• leaky ReLU 활성화 함수를 사용하는 5-layer, 512-node 네트워크를 활용하고, 30분 간격의 기후 데이터 3개월로 학습한다.
• 검증 데이터 세트 두 가지: (+0K) 및 (+4K) 바다 세계 온난화 시나리오, 보존 페널티와 MSE에 초점을 맞춰 평가한다.

실험 결과

연구 질문

• RQ1 물리 기후 과정의 신경망 에뮬레이터에서 선형 보존 법칙을 강제할 수 있는가?
• RQ2 손실 함수 페널티 대 아키텍처 제약층이 에너지/질량 보존 및 온난화 하에서 일반화를 얼마나 잘 유지하는가?
• RQ3 아키텍처 제약이 기후 섭동 하에서 수치적 보존을 정확하게 달성하고 방사 강제 예측을 더 잘 하는가?

주요 결과

• 아키텍처 제약 네트워크(NNA)는 보존 법칙을 수치적 정밀도로 강제하여 검증 세트 전반에 걸쳐 보존 페널티가 매우 작게 나타난다.
• 제약 손실은 균형 잡힌 또는 작은 페널티 가중치로 일반화를 개선할 수 있으며, 때로는 온난화 시나리오에서 무제약 모델보다 우수하다.
• 모든 제약 방법은 기본 다중 선형 회귀 모델을 능가하고 무제약 네트워크에 비해 에너지/질량/복사 보존 위반을 줄인다.
• 물리 제약을 도입한 네트워크는 보이지 않는 온난화 조건(+4K)에 대해 무제약 모델보다 일반화가 잘 되며 방사선 예측 신뢰도(R^2)에서 더 높게 나타난다.
• 손실 함수에서 아주 작은 페널티(alpha ≈ 0.01)을 사용하면 기준 데이터셋에서 최상의 성능을 달성하면서도 일반화 특성을 유지했다.