[논문 리뷰] Learning About Structural Errors in Models of Complex Dynamical Systems

Jinlong Wu, Matthew E. Levine외 2명|arXiv (Cornell University)|2023. 12. 29.

Meteorological Phenomena and Simulations인용 수 7

한 줄 요약

이 논문은 복잡한 동역학 시스템의 모델에서 발생하는 구조적 오류를 학습하고 수정하기 위한 데이터 기반 프레임워크를 제안한다. 이는 기존의 클로처 모델 내에 오차 모델을 통합함으로써 이루어지며, 유도 미분이 없는 칼만 역행렬 기반의 최적화와 희소성 제약 조건을 활용하여 간접적이고 노이즈가 많으며 부분적인 관측 자료로부터도 강건하게 캘리브레이션을 가능하게 한다. 이는 로렌츠-96 및 혈액 포도당-인슐린 모델에서 성공적으로 검증되었으며, 오차 자체의 레이블이 없는 입력-출력 쌍이 필요 없이 정확한 오차 보정을 가능하게 한다.

ABSTRACT

Complex dynamical systems are notoriously difficult to model because some degrees of freedom (e.g., small scales) may be computationally unresolvable or are incompletely understood, yet they are dynamically important. For example, the small scales of cloud dynamics and droplet formation are crucial for controlling climate, yet are unresolvable in global climate models. Semi-empirical closure models for the effects of unresolved degrees of freedom often exist and encode important domain-specific knowledge. Building on such closure models and correcting them through learning the structural errors can be an effective way of fusing data with domain knowledge. Here we describe a general approach, principles, and algorithms for learning about structural errors. Key to our approach is to include structural error models inside the models of complex systems, for example, in closure models for unresolved scales. The structural errors then map, usually nonlinearly, to observable data. As a result, however, mismatches between model output and data are only indirectly informative about structural errors, due to a lack of labeled pairs of inputs and outputs of structural error models. Additionally, derivatives of the model may not exist or be readily available. We discuss how structural error models can be learned from indirect data with derivative-free Kalman inversion algorithms and variants, how sparsity constraints enforce a "do no harm" principle, and various ways of modeling structural errors. We also discuss the merits of using non-local and/or stochastic error models. In addition, we demonstrate how data assimilation techniques can assist the learning about structural errors in non-ergodic systems. The concepts and algorithms are illustrated in two numerical examples based on the Lorenz-96 system and a human glucose-insulin model.

연구 동기 및 목표

• 해결되지 않은 스케일이 예측에 상당한 영향을 미치는 복잡한 동역학 시스템의 모델에서 발생하는 구조적 오류 문제를 다루기.
• 구조적 오차에 대한 레이블이 없는 상황에서 시스템 출력의 간접적이고 노이즈가 많으며 부분적인 관측 자료로부터 오차를 학습함으로써 이를 극복하기.
• 반경험적 클로처 모델에서 도메인 특화 지식을 유지하면서도 데이터 기반 보정을 통합하는 체계적인 프레임워크 개발하기.
• 희소성 제약 조건을 적용하고 물리적 제약 조건을 오차 모델에 통합함으로써 모델의 일반화 능력과 해석 가능성 확보하기.
• 데이터 융합을 추론 파이프라인 내의 서브루틴으로 활용하여 비ergodic 및 비정상 시스템에서도 학습 가능하게 하기.

제안 방법

• 복잡한 동역학 시스템의 기존 클로처 모델 내에 구조적 오차 모델을 통합하여 오차가 비선형적으로 관측 가능한 데이터로 매핑되도록 하기.
• 모델의 도함수가 확보되지 않거나 계산이 곤란한 경우, 도함수 없는 칼만 역행렬 알고리즘(예: Ensemble Kalman Inversion)을 사용하여 오차 모델을 캘리브레이션하기.
• 희소성 제약 조건을 적용하여 '해를 끼치지 않기' 원칙을 강화하여 데이터가 없는 영역에서 새로운 오차를 유도하지 않도록 하기.
• 잠재 상태 추정 및 관측치 예측을 위해 데이터 융합 기법(예: 3DVAR)을 서브루틴으로 활용하여 일시적이고 부분적이며 노이즈가 많은 시계열 자료로부터 학습 가능하게 하기.
• 난류에서의 공명 구조와 같은 복잡하고 비확산적인 역학을 더 잘 포착하기 위해 비국소적 및/또는 확률적 형태로 오차를 모델링하기.
• 관측자기구를 통해 시뮬레이션된 관측치와 실제 데이터를 비교하는 손실 함수 최소화 문제로 학습 문제를 설정하고, 순차적 데이터 융합을 활용하여 예측적 추정치를 구축하기.

실험 결과

연구 질문

• RQ1 직접적인 오차 관측 자료가 없는 상황에서 복잡한 동역학 시스템의 클로처 모델에서 발생하는 구조적 오차는 어떻게 학습할 수 있는가?
• RQ2 희소성 제약 조건은 데이터가 적은 영역에서 학습된 오차 모델의 성능을 떨어뜨리지 않도록 하는 데 어떤 역할을 하는가?
• RQ3 모델 도함수가 확보되지 않은 경우, 도함수 없는 최적화 방법은 복잡하고 비선형적인 오차 모델을 효과적으로 캘리브레이션할 수 있는가?
• RQ4 데이터 융합 기법은 비ergodic 및 비정상 시스템에서의 구조적 오차 학습을 어떻게 향상시킬 수 있는가?
• RQ5 비국소적 또는 확률적 오차 모델은 복잡한 동역학적 행동을 포착하는 데 있어 국소적 결정론적 모델보다 어떤 이점을 제공하는가?

주요 결과

• 모델은 오직 부분적이고 노이즈가 많으며 일시적인 시계열 자료만을 사용하여 비ergodic 및 비정상 시스템에서의 오차 보정을 성공적으로 학습하였으며, 다음 단계 예측에서 높은 정확도를 보였다.
• 신경망 오차 모델은 다양한 입력 $I_p$ 범위에서 실제 누락된 선형 항 $-I_p/t_p$ 를 정확히 포착하지만, 관측된 데이터 범위 외부에서는 비합리적인 행동을 보였다.
• 일부 경우에서 모델은 활성 입력이 아닌 변수(예: $G$)를 무시하는 경향이 있었지만, 학습 데이터 분포를 초월해 외삽할 경우 비합리적인 의존성을 보였다.
• 희소성 제약 조건은 비활성 변수에 대한 비합리적인 의존성을 줄이는 데 효과적이었으며, 이는 모델의 일반화 능력과 해석 가능성 향상에 기여할 수 있음을 시사한다.
• 데이터 융합을 서브루틴으로 활용함으로써 상태가 부분적으로 관측되고 동역학이 일시적인 시스템에서도 효과적인 추론이 가능해졌다.
• 오차 모델이 관측되지 않으며 오직 간접적으로 데이터에 의해 영향을 받는 상황에서도 이 프레임워크는 구조적 오차의 강건한 학습을 가능하게 하여 실제 복잡한 시스템에 적용 가능한 가능성을 입증했다.