[논문 리뷰] A comparative study of physics-informed neural network models for learning unknown dynamics and constitutive relations

Ramakrishna Tipireddy, Paris Perdikaris외 2명|arXiv (Cornell University)|2019. 04. 02.

Model Reduction and Neural Networks참고 문헌 14인용 수 34

한 줄 요약

이 논문은 discrete multistep와 continuous physics-informed neural network (PINN) 접근법을 비교하여 알려지지 않은 dynamics와 constitutive relations를 학습하고, 테스트 사례로는 fedbatch bioreactor를 사용하며, constitutive relations를 학습할 때 전체 dynamics보다 더 높은 정확도를 얻는다는 것을 발견하고, 이산 방법이 폭넓게 우수하고 연속 방법은 constitutive relations에 더 적합하다고 요약한다.

ABSTRACT

We investigate the use of discrete and continuous versions of physics-informed neural network methods for learning unknown dynamics or constitutive relations of a dynamical system. For the case of unknown dynamics, we represent all the dynamics with a deep neural network (DNN). When the dynamics of the system are known up to the specification of constitutive relations (that can depend on the state of the system), we represent these constitutive relations with a DNN. The discrete versions combine classical multistep discretization methods for dynamical systems with neural network based machine learning methods. On the other hand, the continuous versions utilize deep neural networks to minimize the residual function for the continuous governing equations. We use the case of a fedbatch bioreactor system to study the effectiveness of these approaches and discuss conditions for their applicability. Our results indicate that the accuracy of the trained neural network models is much higher for the cases where we only have to learn a constitutive relation instead of the whole dynamics. This finding corroborates the well-known fact from scientific computing that building as much structural information is available into an algorithm can enhance its efficiency and/or accuracy.

연구 동기 및 목표

• 역학계 시스템에서 알려지지 않은 dynamics와 constitutive relations를 학습하기 위해 물리 지식을 데이터와 결합하려는 동기를 부여한다.
• 동역학과 constitutive relations를 학습하기 위해 네 가지 PINN 변형(Discrete multistep 및 continuous PINN)을 체계적으로 비교한다.
• 적용 가능성과 한계를 밝히기 위해 다루기 쉬우면서도 민감한 fedbatch bioreactor 모델에서 접근법을 평가한다.
• 알려진 구조를 결합하는 것이 계산 효율성 및 정확도를 향상시킨다는 것을 보여준다.

제안 방법

• f가 완전히 알려지지 않았을 때 f(y,t;λ)을 신경망으로 모델링한다.
• PINN과 결합된 다단계 이산화(multi-step discretization)를 사용하여 f를 학습하거나 λ(y)를 학습한다.
• 지배 시나리오가 알려져 있지만 λ가 알려지지 않은 경우 constitutive relations를 신경망으로 표현한다.
• 잔차(residuals)와 데이터 적합 항을 최소화하여 y(t)와 f(y,t)를 학습하기 위해 continuous PINN 형식을 적용한다.
• 역학 또는 constitutive relations 학습을 위해 discrete multistep NN과 continuous PINN 접근법을 비교한다.
• 실험 사례로 fedbatch bioreactor (FBR) 모델을 사용하고 ground truth로 Haldane kinetics를 삼는다.

실험 결과

연구 질문

• RQ1 어떤 PINN 변형(Discrete multistep vs. continuous)이 알려지지 않은 dynamics 대 constitutive relations 학습에서 더 정확한가?
• RQ2 신경망 학습에 알려진 물리(동역학 또는 constitutive relations)를 통합하는 것이 예측 정확도와 데이터 효율성을 향상시키는가?
• RQ3 초기 조건과 학습 데이터의 지속 기간이 각 방법의 보간(interpolation) 대 외삽(extrapolation) 성능에 어떻게 영향을 미치는가?
• RQ4 CPINN이 복잡한 생물반응기 모델에서 상태 변수에 비선형적으로 의존하는 constitutive relations를 신뢰성 있게 학습할 수 있는가?

주요 결과

• Discrete multistep NN은 알려지지 않은 dynamics와 constitutive relations 모두에 대해 정확한 학습을 제공합니다.
• Continuous PINN은 constitutive relations 학습에 탁월하지만 이 환경에서 알려지지 않은 dynamics에는 성능이 떨어질 수 있습니다.
• 알려진 물리 구조를 활용하기 때문에 constitutive relations를 학습하는 것이 일반적으로 전체 dynamics를 학습하는 것보다 더 높은 정확성을 제공합니다.
• CPINN은 μ(S)와 같은 constitutive relations를 정확하게 추론하고 이를 새로운 조건에서 시스템 거동을 예측하는 데 사용할 수 있습니다.
• CPINN은 제한적이거나 비균일한 데이터로부터 알려지지 않은 dynamics를 학습하는 데 어려움을 겪으며 추가 제약 또는 데이터가 필요할 수 있습니다.
• 데이터가 희소하거나 초기 조건이 다양할 때 여러 짧은 궤적을 사용하는 것이 학습을 개선합니다.