[논문 리뷰] Physics-Informed Extreme Theory of Functional Connections Applied to Data-Driven Parameters Discovery of Epidemiological Compartmental Models

Enrico Schiassi, Andrea D’Ambrosio외 3명|arXiv (Cornell University)|2020. 08. 12.

Model Reduction and Neural Networks참고 문헌 18인용 수 9

한 줄 요약

이 논문은 SIR, SEIR, SEIRS와 같은 전염병학적 분할 모델의 역문제를 해결하기 위해 물리학에 기반한 극한 이론의 기능 연결(X-TFC) 프레임워크를 제안한다. 이 프레임워크는 노이즈가 있는 및 훼손되지 않은 데이터로부터 미지의 매개변수를 발견함으로써, 기능적 보간을 통해 미분방정식을 딱딱한 제약 조건으로 통합함으로써 빠르고 정확하며 강건한 매개변수 추정을 가능하게 하며, 과적합을 피하면서도 높은 노이즈 수준에서도 성능을 유지한다. 계산 비용이 낮아 표준 회귀보다 뛰어난 성능을 발휘한다.

ABSTRACT

In this work we apply a novel, accurate, fast, and robust physics-informed neural network framework for data-driven parameters discovery of problems modeled via parametric ordinary differential equations (ODEs) called the Extreme Theory of Functional Connections (X-TFC). The proposed method merges two recently developed frameworks for solving problems involving parametric DEs, 1) the Theory of Functional Connections (TFC) and 2) the Physics-Informed Neural Networks (PINN). In particular, this work focuses on the capability of X-TFC in solving inverse problems to estimate the parameters governing the epidemiological compartmental models via a deterministic approach. The epidemiological compartmental models treated in this work are Susceptible-Infectious-Recovered (SIR), Susceptible-Exposed-Infectious-Recovered (SEIR), and Susceptible-Exposed-Infectious-Recovered-Susceptible (SEIR). The results show the low computational times, the high accuracy and effectiveness of the X-TFC method in performing data-driven parameters discovery of systems modeled via parametric ODEs using unperturbed and perturbed data.

연구 동기 및 목표

• 데이터 노이즈와 모델 불확실성에 민감한 역문제의 곤경을 해결한다.
• 이론적 기능 연결(TFC)과 물리학에 기반한 신경망(PINNs)을 통합하여 정적이고 물리학에 기반한 프레임워크를 개발함으로써 매개변수 발견의 강건성과 정확성을 향상시킨다.
• 정제된 데이터와 노이즈가 있는 데이터를 모두 사용하여 SIR, SEIR 및 SEIRS 모델의 매개변수 추정에 대해 X-TFC 프레임워크의 효능을 입증함으로써 안정성과 수렴성을 확보한다.
• 실시간 응답 상황에서의 업데이트를 가능하게 하기 위해 계산 시간을 단축하면서도 높은 정확도를 유지한다.
• 표준 회귀 기반 기준과 비교하여 노이즈가 있는 데이터에 과적합되지 않는 방법의 능력을 검증한다.

제안 방법

• 이론적 기능 연결(TFC)과 초급속 학습기계(ELM) 최적화를 통합하여 초기 조건과 미분방정식 제약 조건을 정확히 만족하는 매개변수화된 해를 구성한다.
• 분할 모델(SIR, SEIR, SEIRS)의 주어진 매개변수 미분방정식(ODE)을 신경망 손실 함수에 딱딱한 제약 조건으로 통합하여 물리적 일관성을 확보한다.
• ODE 시스템 잔차와 데이터 불일치를 최소화하는 결정론적 최적화 프레임워크를 사용하며, 매개변수를 학습 가능한 변수로 간주한다.
• 입력 가중치와 편향을 고정함으로써 초급속 학습기계(ELM) 알고리즘을 적용하여 학습을 가속화하고 최소한의 하이퍼파rameter 조정으로도 신속한 수렴을 달성한다.
• 초기 조건과 ODE 역학을 내재적으로 만족하는 제약 조건이 부여된 기능 형태를 구성함으로써 검색 공간을 줄이고 학습 안정성을 향상시킨다.
• 노이즈 수준이 증가하는(δ = 0.1, 1, 3) 훈련 데이터 세트(정제된 데이터 및 훼손된 데이터)를 모두 사용하여 강건성과 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 X-TFC 프레임워크는 노이즈가 있는 관측 데이터로부터 SIR, SEIR 및 SEIRS 모델의 미지 매개변수를 정확하게 추정할 수 있는가?
• RQ2 데이터가 노이즈에 오염되었을 때 X-TFC 방법은 표준 회귀와 비교해 과적합을 얼마나 효과적으로 방지하는가?
• RQ3 노이즈 수준이 다양할 경우 X-TFC는 전염병 모델의 역문제를 해결하는 데 있어 계산 효율성이 얼마나 높은가?
• RQ4 ODE 시스템의 물리적 특성을 네트워크 아키텍처에 통합함으로써 솔루션의 안정성과 정확도는 얼마나 향상되는가?
• RQ5 데이터 포인트 수가 제한적이거나 데이터가 크게 훼손된 경우에도 X-TFC는 높은 정확도로 매개변수 추정을 유지할 수 있는가?

주요 결과

• 노이즈가 없는 SIR 모델의 경우, X-TFC는 3회 반복만으로 CPU 시간 0.004초 내에 정확한 매개변수 복원을 달성하였으며, 모든 매개변수의 절대 오차는 0이었다.
• 10% 노이즈(δ = 0.1) 조건에서 X-TFC는 β = 0.2971(오차: 2.9×10⁻³), γ = 0.5996(오차: 3.7×10⁻⁴), σ = 0.9005(오차: 4.9×10⁻⁴), R₀ = 0.4955(오차: 4.5×10⁻³)를 추정하여 높은 정확도를 보였다.
• δ = 3인 SEIR 모델의 경우, X-TFC는 모든 매개변수의 절대 오차가 5×10⁻² 이하를 유지하였으며, β = 0.2130(오차: 8.7×10⁻²), γ = 0.5878(오차: 1.2×10⁻²), σ = 0.9141(오차: 1.4×10⁻²), R₀ = 0.3624(오차: 1.4×10⁻¹)를 기록하여 고노이즈에 대한 강건성을 입증하였다.
• δ = 3인 SEIRS 모델의 경우, 모든 매개변수의 절대 오차가 6×10⁻² 이하였으며, ζ = 0.5576(오차: 5.8×10⁻²)를 포함하여 고강도 훼손 조건에서도 신뢰할 수 있는 성능을 보였다.
• SEIRS 모델에서 δ = 3 조건에서 매개변수 추정을 위해 X-TFC는 단 110회 반복과 1.36초의 시간만을 소요하여 확장성과 낮은 계산 비용을 입증하였다.
• 노이즈 수준이 높은 상황에서도 X-TFC는 표준 회귀 기준 대비 과적합을 피하면서 작은 매개변수 오차를 유지하여 일관되게 뛰어난 성능을 보였다.