[논문 리뷰] Stochastic Physics-Informed Neural Networks (SPINN): A Moment-Matching Framework for Learning Hidden Physics within Stochastic Differential Equations.

Jared O’Leary, Joel A. Paulson외 1명|arXiv (Cornell University)|2021. 09. 03.

Model Reduction and Neural Networks참고 문헌 61인용 수 6

한 줄 요약

SPINN은 확률미분방정식(SDE)의 숨겨진 물리법칙을 예측된 통계적 모멘트(불확실성 전파를 통해 계산)와 데이터 기반 추정치 간의 일치를 통해 학습하는 새로운 딥러닝 프레임워크이다. 자동미분과 미니배치 최적화를 활용하여 구성법칙을 나타내는 신경망을 훈련시켜 다변량 SDE에서 다중성 소음을 가진 비선형 역학을 견고하게 발견할 수 있다.

ABSTRACT

Stochastic differential equations (SDEs) are used to describe a wide variety of complex stochastic dynamical systems. Learning the hidden physics within SDEs is crucial for unraveling fundamental understanding of the stochastic and nonlinear behavior of these systems. We propose a flexible and scalable framework for training deep neural networks to learn constitutive equations that represent hidden physics within SDEs. The proposed stochastic physics-informed neural network framework (SPINN) relies on uncertainty propagation and moment-matching techniques along with state-of-the-art deep learning strategies. SPINN first propagates stochasticity through the known structure of the SDE (i.e., the known physics) to predict the time evolution of statistical moments of the stochastic states. SPINN learns (deep) neural network representations of the hidden physics by matching the predicted moments to those estimated from data. Recent advances in automatic differentiation and mini-batch gradient descent are leveraged to establish the unknown parameters of the neural networks. We demonstrate SPINN on three benchmark in-silico case studies and analyze the framework's robustness and numerical stability. SPINN provides a promising new direction for systematically unraveling the hidden physics of multivariate stochastic dynamical systems with multiplicative noise.

연구 동기 및 목표

• 복잡한 동역학 시스템을 지배하는 확률미분방정식(SDE) 내에서 숨겨진 구성법칙을 발견하기 위한 확장 가능하고 유연한 프레임워크를 개발하는 것.
• 다중성 소음과 비선형 확률적 역학을 가진 시스템에서 숨겨진 물리법칙을 학습하는 데 도전하는 것.
• SDE에서 예측된 통계적 모멘트와 관측된 데이터의 모멘트를 일치시켜 데이터 기반으로 기초 물리법칙을 발견할 수 있도록 하는 것.
• 현대 딥러닝 최적화 기법과 함께 불확실성 전파 및 모멘트 매칭 기법을 통합하여 더 높은 견고성과 안정성을 확보하는 것.

제안 방법

• SPINN은 알려진 SDE의 구조를 통해 확률적 성질을 전파하여 시스템 상태의 통계적 모멘트의 시간 진화를 해석적 또는 수치적으로 계산한다.
• 이 프레임워크는 SDE의 드리프트 및 확산 계수를 지배하는 알려지지 않은 구성법칙을 표현하기 위해 딥 뉴럴 네트워크를 사용한다.
• 손실 함수를 기반으로 한 모멘트 매칭을 통해 SDE 전파로부터 예측된 모멘트와 관측 데이터에서 추정된 모멘트 간의 격차를 최소화한다.
• 모멘트 계산과 신경망 파라미터를 통해 역전파하는 데 자동미분을 사용하여 엔드 투 엔드 훈련을 수행한다.
• 훈련 과정을 스케일링하고 수렴 효율을 향상시키기 위해 미니배치 경사하강법을 적용한다.
• 다변량 시스템과 다중성 소음을 가진 시스템을 다룰 수 있도록 설계되어 수치적 안정성과 견고성을 보장한다.

실험 결과

연구 질문

• RQ1 기본적인 구성법칙이 알려져 있지 않지만 SDE의 구조가 부분적으로 알려진 경우, 어떻게 체계적으로 SDE 내 숨겨진 물리법칙을 학습할 수 있는가?
• RQ2 예측된 모멘트와 데이터 기반 추정 모멘트 간의 모멘트 매칭이 비선형적이고 다변량 SDE에서 숨겨진 역학을 정확하고 안정적으로 발견하는 데 효과적인가?
• RQ3 다중성 소음과 복잡한 비선형성을 가진 SDE에 적용했을 때 SPINN의 견고성과 수치적 안정성은 어떻게 평가되는가?
• RQ4 알려진 SDE 구조를 통해 불확실성 전파를 수행하면, 학습된 신경망 모델의 일반화 능력과 해석 가능성은 얼마나 향상되는가?

주요 결과

• SPINN은 세 가지 시뮬레이션 기반 벤치마크 사례 연구에서 다중성 소음을 가진 SDE 내 숨겨진 구성법칙을 정확하게 복원하는 데 성공하였다.
• 다양한 확률적 동역학 시스템에서 견고한 성능를 유지하며 고수준의 소음 조건에서도 수치적 안정성을 확보하였다.
• 예측된 모멘트와 데이터 기반 추정 모멘트 간의 모멘트 매칭을 통해 명시적 우도 추정이 필요 없이도 깊은 신경망의 효과적인 훈련이 가능하였다.
• 자동미분과 미니배치 최적화를 활용함으로써 SPINN은 고차원 시스템과 복잡한 비선형성으로도 효율적으로 확장될 수 있었다.
• 불확실성 전파와 신경망 학습의 통합은 발견된 모델의 해석 가능성과 물리적 일관성을 향상시켰다.
• SPINN은 복잡한 확률적 시스템 내 숨겨진 물리법칙을 체계적이고 확장 가능한 방식으로 밝혀내는 데 성공했으며, 기존의 블랙박스 학습 기법에 대한 유망한 대안을 제공한다.