[논문 리뷰] Bridging Physics-based and Data-driven modeling for Learning Dynamical Systems

Rui Wang, Danielle C. Maddix외 3명|arXiv (Cornell University)|2020. 11. 20.

Model Reduction and Neural Networks참고 문헌 37인용 수 21

한 줄 요약

이 논문은 기계적 역학적 시스템의 매개변수를 추정하기 위해 자동 미분를 활용하는 물리 기반 딥러닝 프레임워크인 AutoODE를 제안한다. 이는 분포 이탈 상황에서 데이터 기반 모델보다 예측 성능이 뛰어나며, 실제 동역학 시스템(예: 코로나19)에서 데이터 및 매개변수 영역의 이탈이 발생할 경우 딥러닝 모델이 실패하는 것을 입증한다. 반면 AutoODE는 시스템의 기본 역학을 모델링함으로써 강건한 일반화 성능 유지를 보인다.

ABSTRACT

How can we learn a dynamical system to make forecasts, when some variables are unobserved? For instance, in COVID-19, we want to forecast the number of infected and death cases but we do not know the count of susceptible and exposed people. While mechanics compartment models are widely used in epidemic modeling, data-driven models are emerging for disease forecasting. We first formalize the learning of physics-based models as AutoODE, which leverages automatic differentiation to estimate the model parameters. Through a benchmark study on COVID-19 forecasting, we notice that physics-based mechanistic models significantly outperform deep learning. Our method obtains a 57.4% reduction in mean absolute errors for 7-day ahead COVID-19 forecasting compared with the best deep learning competitor. Such performance differences highlight the generalization problem in dynamical system learning due to distribution shift. We identify two scenarios where distribution shift can occur: changes in data domain and changes in parameter domain (system dynamics). Through systematic experiments on several dynamical systems, we found that deep learning models fail to forecast well under both scenarios. While much research on distribution shift has focused on changes in the data domain, our work calls attention to rethink generalization for learning dynamical systems.

연구 동기 및 목표

• 주요 변수(예: 감염 가능자, 잠복기자)가 관측되지 않을 때 동역학 시스템을 예측하는 데 도전하는 것, 특히 전염병 모델링에서의 응용을 대상으로 한다.
• 코로나19와 같은 실제 동역학 시스템에서 보간 작업에서는 뛰어난 성능을 보이지만, 예측 성능이 떨어지는 데이터 기반 딥러닝 모델의 원인을 탐구하는 것.
• 딥러닝 모델의 일반화 성능 저하의 근본 원인으로서 데이터 영역과 매개변수 영역에서의 분포 이탈을 규명하고 분석하는 것.
• 자동 미분과 기계적 모델링을 활용하여 새로운 데이터 및 매개변수 영역에서도 일반화 가능한 강건한 물리 기반 방법인 AutoODE를 개발하는 것.
• 제어된 분포 이탈 조건 하에서 SEIR, Lotka-Volterra, FitzHugh–Nagumo 등 다양한 동역학 시스템에 대해 물리 기반 모델과 딥러닝 모델을 비교 평가하는 것.

제안 방법

• 수치 적분을 통한 자동 미분를 활용해 물리 기반 모델의 매개변수 추정을 수학적으로 정의하고, AutoODE 프레임워크를 도입한다.
• 코로나19 예측을 위한 새로운 병변 모델인 ST-SuEIR를 개발하여, 최고의 딥러닝 베이스라인 대비 7일 전망 예측에서 평균 절대오차 기준 57.4% 향상된 성능을 확보한다.
• 제어된 매개변수 및 초기 조건 변화를 가진 알려진 동역학 시스템에서 생성한 시뮬레이션 시간 시리즈 데이터를 기반으로 딥러닝 모델(Sequence-to-Sequence, Fully Connected, Transformer, NeuralODE)을 훈련시킨다.
• 데이터 및 매개변수 이탈 상황을 고려해, 보간(훈련 영역 내)과 외삽(훈련 영역 외) 테스트 세트를 모두 평가한다.
• 모든 영역 간 공정한 비교를 위해 정규화된 시스템 매개변수와 초기 조건를 사용하며, 테스트 세트는 분포 이탈 상황에서의 일반화 성능을 명시적으로 평가하도록 설계된다.
• 예측 성능 비교를 위해 주로 RMSE를 사용하며, 다양한 분포 이탈 시나리오에서 모델 간 성능을 평가한다.

실험 결과

연구 질문

• RQ1 데이터 기반 딥러닝 모델은 훈련 데이터에서 뛰어난 성능을 보이지만, 실제 동역학 시스템(예: 코로나19)의 예측에서 일반화 성능이 떨어지는 이유는 무엇인가?
• RQ2 데이터 영역에서의 분포 이탈(예: 새로운 초기 조건)은 동역학 시스템에서 딥러닝 모델의 일반화 성능에 어떤 영향을 미치는가?
• RQ3 매개변수 영역에서의 분포 이탈(예: 전파율 또는 회복율 변화)은 딥러닝 모델의 예측 정확도에 어떤 영향을 미치는가?
• RQ4 AutoODE와 같은 물리 기반 모델은 딥러닝 모델이 실패하는 데이터 및 매개변수 영역 이탈 상황에서도 강건한 성능을 유지할 수 있는가?
• RQ5 기계적 이해와 딥러닝을 융합한 하이브리드 모델은 동역학 시스템 예측에서 일반화 성능을 얼마나 향상시킬 수 있는가?

주요 결과

• 물리 기반 모델, 특히 AutoODE는 코로나19 유행에서 누적 확진자, 퇴원자 및 사망자 예측에서 딥러닝 모델보다 뛰어난 성능을 보이며, 특히 감염자 및 퇴원자 예측에서 두드러진다.
• SEIR 역학에서 외삽 테스트 세트에서 딥러닝 모델(Sequence-to-Sequence, FC, Transformer, NeuralODE)은 최대 7.89 RMSE의 높은 오차를 보였지만, AutoODE는 근사 일정한 오차(0.91–1.02 RMSE)를 유지하여 뛰어난 일반화 성능을 입증한다.
• Lotka-Volterra 역학에서 딥러닝 모델의 오차는 매개변수 보간(0.050)에서 외삽(0.215)으로 증가했지만, AutoODE의 오차는 안정적으로 0.054를 유지했다.
• FitzHugh–Nagumo 역학에서 최고의 딥러닝 모델(Sequence-to-Sequence)은 매개변수 외삽에서 RMSE 4.14를 기록한 반면, AutoODE는 0.91을 기록하여 매개변수 이탈 상황에서도 뛰어난 강건성을 입증한다.
• 연구는 딥러닝 성능 저하의 두 가지 주요 원인으로 데이터 영역과 매개변수 영역의 분포 이탈을 규명하였으며, 이는 모델이 훈련 데이터를 암기하더라도 여전히 심각한 영향을 미친다.
• ST-SuEIR 모델은 최고의 딥러닝 경쟁자 대비 7일 전망 예측에서 평균 절대오차 기준 57.4% 감소를 달성하여, 실제 전염병 예측에서 물리 기반 모델링의 우수성을 입증한다.