[논문 리뷰] Capturing missing physics in climate model parameterizations using neural differential equations

Ali J. Ramadhan, John C. Marshall외 9명|arXiv (Cornell University)|2020. 10. 23.

Meteorological Phenomena and SimulationsEarth and Planetary Sciences인용 수 17

한 줄 요약

이 논문은 고해상도 시뮬레이션에서 누락된 물리적 현상을 학습함으로써 기후 모델의 파rameterization을 향상시키기 위해 신경미분방정식(NDEs)을 제안한다. NDE 프레임워크는 기저 파rameterization(예: 대류 조정)에 데이터 기반의 유량 보정을 추가하여 기존 모델인 KPP와 비교해 더 높은 정확도와 안정성을 달성한다. 특히 비국소적이고 상류 방향의 유량을 잘 포착한다.

ABSTRACT

We explore how neural differential equations (NDEs) may be trained on highly resolved fluid-dynamical models of unresolved scales providing an ideal framework for data-driven parameterizations in climate models. NDEs overcome some of the limitations of traditional neural networks (NNs) in fluid dynamical applications in that they can readily incorporate conservation laws and boundary conditions and are stable when integrated over time. We advocate a method that employs a 'residual' approach, in which the NN is used to improve upon an existing parameterization through the representation of residual fluxes which are not captured by the base parameterization. This reduces the amount of training required and providing a method for capturing up-gradient and nonlocal fluxes. As an illustrative example, we consider the parameterization of free convection of the oceanic boundary layer triggered by buoyancy loss at the surface. We demonstrate that a simple parameterization of the process - convective adjustment - can be improved upon by training a NDE against highly resolved explicit models, to capture entrainment fluxes at the base of the well-mixed layer, fluxes that convective adjustment itself cannot represent. The augmented parameterization outperforms existing commonly used parameterizations such as the K-Profile Parameterization (KPP). We showcase that the NDE performs well independent of the time-stepper and that an online training approach using differentiable simulation via the Julia scientific machine learning software stack improves accuracy by an order-of-magnitude. We conclude that NDEs provide an exciting route forward to the development of representations of sub-grid-scale processes for climate science, opening up myriad new opportunities.

연구 동기 및 목표

• 기후 모델의 파rameterization에서 항상 발생하는 미해결된 물리적 현상, 특히 해양 경계층 난류와 같은 해상도가 낮은 미세구조 과정의 문제를 해결하기 위해.
• 기저 파rameterization이 포괄하지 못하는 잔여 유량을 학습함으로써 기존 모델을 개선하는 데이터 기반 파rameterization 프레임워크를 개발하기 위해.
• 신경미분방정식(NDEs)을 활용해 유체역학적 시뮬레이션에서 보존 법칙과 장기적 안정성을 보장하기 위해.
• NDEs가 기존 파rameterization(예: 대류 조정 또는 KPP)이 자주 간과하는 비국소적이고 상류 방향의 유량을 잘 포착할 수 있음을 보여주기 위해.
• 실제 해양 자유 대류 사례를 사용하여 방법을 검증함으로써 기존 파rameterization보다 더 높은 정확도를 달성함을 보여주기 위해.

제안 방법

• 잔여 파rameterization 접근법을 사용하여, 신경망이 기존 기저 파rameterization(예: 대류 조정)이 표현하지 못하는 유량 보정(잔여 유량)을 모델링한다.
• 신경미분방정정식(NDEs)은 해양 경계층의 고해상도 명시적 시뮬레이션을 기반으로, 혼합층 기저에서의 침입 유량과 같은 미해결 과정의 역학을 학습한다.
• NDE 프레임워크는 미분방정식의 구조를 통해 보존 법칙과 경계 조건을 내재적으로 통합함으로써 장기간의 통합에서도 물리적 일致성과 수치적 안정성을 확보한다.
• Julia 과학 기반 기계학습 스택(예: DiffEqFlux.jl)을 사용한 미분 가능 시뮬레이션을 통한 온라인 학습은 시간 통합을 거쳐 전방전파를 엔드 투 엔드로 가능하게 하여 학습 정확도를 한 단계 향상시킨다.
• 다양한 신경망 아키텍처(밀집형 및 컨볼루션형)와 두 가지 손실 함수(L1 기반 유량 손실 및 L2 기반 시계열 손실)를 사용하여 평가하며, 9개의 고해상도 시뮬레이션에서 학습을 수행한다.
• 기준 모델로 K-Profile Parameterization(KPP)를 사용하며, KPP의 파rameter는 차분 진화를 통해 최적화되어 NDE 향상 모델과 공정한 비교를 확보한다.

실험 결과

연구 질문

• RQ1 신경미분방정식(NDEs)은 기존 파rameterization(예: 대류 조정)이 포괄하지 못하는 잔여 미세구조 유량—특히 비국소적이고 상류 방향의 유량—을 효과적으로 학습하고 표현할 수 있는가?
• RQ2 NDE를 강화한 파rameterization의 성능은 해양 자유 대류 시뮬레이션에서 기존 모델인 KPP와 비교해 어떻게 되는가?
• RQ3 기존 신경망과 비교해 NDE 프레임워크는 장기간의 통합에서 보존 법칙과 수치적 안정성을 얼마나 잘 유지하는가?
• RQ4 미분 가능 시뮬레이션을 통한 온라인 학습은 기존 학습 방식에 비해 NDE 기반 파rameterization의 정확도를 크게 향상시키는가?
• RQ5 NDE 기반 파rameterization은 다양한 초기 조건에 일반화되어 있으며, 시간 스텝 설정의 변화에도 강인한가?

주요 결과

• NDE를 강화한 파rameterization은 표준 KPP 모델을 능가하며, 기준 파arameter 설정 시 손실 함수를 1.26×10⁻⁴에서 최적화 후 5.33×10⁻⁵로 감소시켜 2.4배 향상된 성능을 보였다.
• NDE 프레임워크는 기존 대류 조정만으로는 표현할 수 없는 혼합층 기저에서의 침입 유량을 성공적으로 포착하여, 비국소적이고 상류 방향의 유량을 모델링할 수 있음을 입증했다.
• Julia 스택을 통한 온라인 미분 가능 시뮬레이션 학습을 통해 NDE 기반 파rameterization의 정확도가 기존 학습 방식 대비 10배 향상되었으며, 이는 엔드 투 엔드 전방전파의 이점을 잘 보여준다.
• NDE 기반 파rameterization은 장기간의 통합에서도 안정적이며 시간 스텝 설정에 영향을 받지 않으며, 이는 기존 신경망이 자주 겪는 불안정성과는 대조된다.
• 보존 법칙과 경계 조건을 직접 미분방정식의 구조에 통합함으로써 물리적 일치성을 유지하여 물리적으로 타당한 행동을 보장한다.
• NDE 프레임워크는 다양한 학습 및 테스트 조건에서 잘 일반화되며, 밀집형 및 컨볼루션형 등 다양한 신경망 아키텍처에서 일관된 성능을 보여, 아키텍처 선택에 대해 강인함을 입증한다.