[논문 리뷰] Bayesian Physics-Informed Neural Networks for real-world nonlinear dynamical systems

Kevin Linka, Amelie Schäfer외 4명|arXiv (Cornell University)|2022. 05. 12.

Model Reduction and Neural Networks인용 수 15

한 줄 요약

이 논문은 비선형 동역계에서 예측 정확도를 향상시키기 위해 물리 법칙, 데이터, 그리고 불확실성 정량화를 통합하는 베이지안 물리 기반 신경망(B-PINNs)을 제안한다. 물리 기반 사전 분포와 베이지안 추론을 결합함으로써 B-PINNs는 신뢰 구간을 제공하는 견고한 정방향 및 역방향 모델링을 가능하게 하며, 희소하고 노이즈가 많은 데이터 조건에서도 외삽 성능을 크게 향상시킨다. 이는 감쇠 진동자와 코로나19 유행병 동역학에 적용하여 입증되었다.

ABSTRACT

Understanding real-world dynamical phenomena remains a challenging task. Across various scientific disciplines, machine learning has advanced as the go-to technology to analyze nonlinear dynamical systems, identify patterns in big data, and make decision around them. Neural networks are now consistently used as universal function approximators for data with underlying mechanisms that are incompletely understood or exceedingly complex. However, neural networks alone ignore the fundamental laws of physics and often fail to make plausible predictions. Here we integrate data, physics, and uncertainties by combining neural networks, physics-informed modeling, and Bayesian inference to improve the predictive potential of traditional neural network models. We embed the physical model of a damped harmonic oscillator into a fully-connected feed-forward neural network to explore a simple and illustrative model system, the outbreak dynamics of COVID-19. Our Physics-Informed Neural Networks can seamlessly integrate data and physics, robustly solve forward and inverse problems, and perform well for both interpolation and extrapolation, even for a small amount of noisy and incomplete data. At only minor additional cost, they can self-adaptively learn the weighting between data and physics. Combined with Bayesian Neural Networks, they can serve as priors in a Bayesian Inference, and provide credible intervals for uncertainty quantification. Our study reveals the inherent advantages and disadvantages of Neural Networks, Bayesian Inference, and a combination of both and provides valuable guidelines for model selection. While we have only demonstrated these approaches for the simple model problem of a seasonal endemic infectious disease, we anticipate that the underlying concepts and trends generalize to more complex disease conditions and, more broadly, to a wide variety of nonlinear dynamical systems.

연구 동기 및 목표

• 학습 데이터를 초월해 외삽하는 데에 있어 물리적 일관성이 부족한 표준 신경망의 한계를 해결하기 위해.
• 감쇠 진동자와 같은 기본 물리 법칙을 신경망 학습에 통합하여 일반화 및 강인성을 향상시키기 위해.
• 물리 기반 프레임워크 내에서 베이지안 추론을 사용해 예측의 지식 불확실성(epistemic)과 악성 불확실성(aleatoric)을 정량화하기 위해.
• 다양한 데이터 조건 하에서 내삽, 외삽, 역문제에 대한 B-PINNs의 성능 평가하기 위해.
• 베이지안 최적화를 통해 데이터 충실도와 물리 일관성을 자동으로 균형 잡는 통합 프레임워크 제공하기 위해.

제안 방법

• 감쇠 진동자의 운동 방정식을 완전히 연결된 전방향 신경망 내의 물리 기반 손실 함수로 통합하기 위해.
• 마르코프 체인 몬테카를로(MCMC) 샘플링을 통해 신경망 가중치 및 편향에 대한 사후 분포를 추론하기 위해 베이지안 신경망을 사용하기 위해.
• 신경망 파라미터와 물리 시스템 파라미터(예: 감쇠 계수, 스프링 상수, 초기 이송)를 동시에 추론할 수 있도록 베이지안 프레임워크를 확장하기 위해.
• 신경망 및 물리 파라미터의 공동 사후 분포에서 샘플링하기 위해 하미르톤 몬테카를로(HMC)를 적용하기 위해.
• 모든 미지의 파라미터(신경망 및 물리)에 대해 로그정규 분포 사전 분포를 통합하여 학습을 정규화하고 확률적 추론을 지원하기 위해.
• 수렴성과 안정성을 향상시키기 위해 시스템 파라미터를 스케일링하기 위해(예: 스프링 상수를 1로 정규화하기 위해).

실험 결과

연구 질문

• RQ1 제한적 또는 노이즈가 많은 데이터 조건에서 신경망에 물리 법칙을 통합함으로써 비선형 동역계의 예측 성능가 향상되는 방식은 무엇인가요?
• RQ2 B-PINNs는 내삽 및 외삽 모두에서 신뢰 구간을 통해 얼마나 신뢰할 수 있는 불확실성 정량화를 제공할 수 있나요?
• RQ3 물리 법칙의 통합은 순수 데이터 기반 모델에 비해 베이지안 신경망 학습의 수렴성과 안정성에 어떤 영향을 미치나요?
• RQ4 파라미터 스케일링은 B-PINNs의 성능과 신뢰성에 어떤 영향을 미치나요?
• RQ5 B-PINNs는 데이터 부족 조건에서 실제 동역계, 예를 들어 질병 유행 모델링과 같은 정방향 및 역방향 문제를 효과적으로 해결할 수 있나요?

주요 결과

• 희소하거나 노이즈가 많은 데이터 조건에서 표준 신경망과 순수 베이지안 신경망에 비해 B-PINNs가 뛰어난 외삽 성능을 달성한다.
• 물리적 제약 조건의 통합은 신뢰도가 높은 예측 불확실성 감소를 이끌어내며, 순수 데이터 기반의 베이지안 신경망에 비해 B-PINNs의 신뢰 구간이 더 좁다는 점에서 이를 입증한다.
• 물리적 파라미터의 적절한 스케일링—특히 스프링 상수 $k$를 1로 설정함—은 B-PINNs의 수렴성과 예측 정확도를 크게 향상시키며, 초기화 및 스케일링에 대한 민감성을 강조한다.
• B-PINNs는 학습 중 데이터 손실과 물리 손실 간의 가중치를 자동으로 균형 잡으며, 불완전하거나 완벽하지 않은 데이터 조건에서도 견고한 학습을 가능하게 한다.
• 이 방법은 신경망 및 물리적 파라미터에 대한 전체 사후 분포를 성공적으로 포착하여, 불확실성 하에서의 의사결정 지원을 위한 불확실성 정량화를 가능하게 한다.
• 동일한 문제에 대해 B-PINNs는 표준 PINNs와 베이지안 신경망 모두를 초월하여 예측 정확도와 신뢰성에서 뛰어난 성능을 보이며, 특히 학습 윈도우를 초월한 영역에서 그 가치를 입증한다.