[논문 리뷰] Machine Learning for Robust Identification of Complex Nonlinear Dynamical Systems: Applications to Earth Systems Modeling

Nishant Yadav, Sai Ravela외 1명|arXiv (Cornell University)|2020. 08. 12.

Gaussian Processes and Bayesian Inference참고 문헌 39인용 수 7

한 줄 요약

이 논문은 복잡한 비선형 동역계 시스템에서의 강건한 매개변수 추정을 위한 가우시안 프로세스 기반 기계학습 접근법을 제안하며, 난류 로렌츠-96 모델을 벤치마크로 사용한다. 작은 데이터 제약 조건 하에서 커널 기반 가우시안 프로세스가 딥 러닝과 선형 회귀보다 우수한 예측 정확도와 불확실성 정량화를 제공함을 입증한다. 이는 지구 시스템 모델링에서 뛰어난 성능을 발휘한다.

ABSTRACT

Systems exhibiting nonlinear dynamics, including but not limited to chaos, are ubiquitous across Earth Sciences such as Meteorology, Hydrology, Climate and Ecology, as well as Biology such as neural and cardiac processes. However, System Identification remains a challenge. In climate and earth systems models, while governing equations follow from first principles and understanding of key processes has steadily improved, the largest uncertainties are often caused by parameterizations such as cloud physics, which in turn have witnessed limited improvements over the last several decades. Climate scientists have pointed to Machine Learning enhanced parameter estimation as a possible solution, with proof-of-concept methodological adaptations being examined on idealized systems. While climate science has been highlighted as a "Big Data" challenge owing to the volume and complexity of archived model-simulations and observations from remote and in-situ sensors, the parameter estimation process is often relatively a "small data" problem. A crucial question for data scientists in this context is the relevance of state-of-the-art data-driven approaches including those based on deep neural networks or kernel-based processes. Here we consider a chaotic system - two-level Lorenz-96 - used as a benchmark model in the climate science literature, adopt a methodology based on Gaussian Processes for parameter estimation and compare the gains in predictive understanding with a suite of Deep Learning and strawman Linear Regression methods. Our results show that adaptations of kernel-based Gaussian Processes can outperform other approaches under small data constraints along with uncertainty quantification; and needs to be considered as a viable approach in climate science and earth system modeling.

연구 동기 및 목표

• 지속적인 매개변수화 불확실성 문제, 특히 기후 및 기상 시뮬레이션에서의 문제를 해결하기 위해.
• 최신 데이터 기반 기계학습 기법—특히 커널 기반 방법—이 작은 복잡한 비선형 동역계 시스템에서의 효과를 평가하기 위해.
• 제한된 데이터 하에서 가우시안 프로세스, 딥 러닝, 선형 회귀의 성능을 비교하여 난류 시스템의 매개변수 추정에 대해 평가하기 위해.
• 지구 시스템 모델링에서 불확실성 정량화가 매개변수 추정의 강건성과 해석 가능성 향상에 기여하는 방식을 평가하기 위해.
• 데이터가 부족한 상황에서 시스템 식별에 있어 가우시안 프로세스가 실용적이고 신뢰할 수 있는 대안이 될 수 있도록 확립하기 위해.

제안 방법

• 연구는 대기 및 기후 시스템을 대표하는 난류 비선형 역학을 반영한 이중 수준의 로렌츠-96 모델을 난류 동역학의 벤치마크로 사용한다.
• 비모수적 성격과 내재된 불확실성 정량화 기능을 활용하여 매개변수 추정에 가우시안 프로세스 회귀 프레임워크를 적용한다.
• 초기 설정된 관측 또는 시뮬레이션 데이터에 기반하여 모델을 훈련하며, 하이퍼파rameter는 최대 우도 최적화를 통해 조정된다.
• 동일한 훈련 및 테스트 데이터 분할을 사용하여 성능을 딥 뉴럴 네트워크 및 선형 회귀 모델과 비교한다.
• 커널 설계를 통해 시스템 역학에 대한 사전 지식을 통합함으로써 데이터 부족 조건 하에서도 일반화 능력을 향상시킨다.
• 예측 불확실성은 사후 분산을 통해 정량화되며, 이는 강건성 평가 및 신뢰구간 제공에 기여한다.

실험 결과

연구 질문

• RQ1 작은 데이터 제약 조건 하에서 커널 기반 가우시안 프로세스가 난류 비선형 동역계 시스템의 매개변수 추정에서 딥 러닝과 선형 회귀를 능가할 수 있는가?
• RQ2 가우시안 프로세스의 불확실성 정량화 방식이 지구 시스템 모델링에서 매개변수 추정의 신뢰성 향상에 어떻게 기여하는가?
• RQ3 모델 복잡성과 데이터 부족이 비선형 시스템 식별에서 다양한 기계학습 접근법의 예측 정확도에 미치는 영향은 무엇인가?
• RQ4 제한된 훈련 데이터로 복잡한 난류 시스템인 로렌츠-96 모델에 대해 가우시안 프로세스가 얼마나 잘 일반화되는가?
• RQ5 내재된 비선형성과 노이즈를 지닌 실제 지구 시스템 역학에 적용했을 때, 기계학습 방법의 예측 능력은 어떻게 비교되는가?

주요 결과

• 작은 데이터셋으로 훈련된 가우시안 프로세스는 딥 러닝과 선형 회귀보다 예측 정확도에서 뚜렷한 우월성을 보였다.
• 특히 고노이즈 또는 저데이터 환경에서 기준 모델 대비 낮은 루트 평균 제곱 오차(RMSE)를 달성하였다.
• 커널 기반 가우시안 프로세스는 신뢰할 수 있는 불확실성 추정을 제공하여 실제 매개변수 변동성과 밀접한 신뢰구간을 형성하였다.
• 모델 잘못 설정이나 노이즈에 대해 강건성을 보이며, 다양한 실험 설정에서 안정된 성능을 유지하였다.
• 딥 러닝 모델은 작은 데이터 조건에서 더 심각한 과적합을 보였고, 선형 모델은 비선형 역학을 효과적으로 포착하지 못했다.
• 본 연구는 가우시안 프로세스가 데이터가 부족하지만 불확실성 정량화가 필수적인 지구 시스템 과학에서의 시스템 식별에 강력한 후보임을 확인한다.