[논문 리뷰] Improved Surrogate Modeling of Fluid Dynamics with Physics-Informed Neural Networks

Jian Cheng Wong, Chinchun Ooi외 2명|arXiv (Cornell University)|2021. 05. 05.

Model Reduction and Neural Networks참고 문헌 39인용 수 14

한 줄 요약

이 논문은 유체역학의 보조 모델링을 향상시키기 위해 물리 기반 신경망(PINNs)을 제안하며, 제어 방정식을 정규화로 통합하여 일반화 능력, 강건성 및 수렴 속도를 향상시킨다. 노이즈가 있거나 물리 법칙이 불완전한 조건에서도 수렴 속도가 최대 3배 빨라지고 테스트 오차가 한 계급 수준 향상된다. 또한 새로운 시나리오에 빠르게 적응할 수 있도록 혁신적인 전이 최적화 기법을 도입하였다.

ABSTRACT

Physics-Informed Neural Networks (PINNs) have recently shown great promise as a way of incorporating physics-based domain knowledge, including fundamental governing equations, into neural network models for many complex engineering systems. They have been particularly effective in the area of inverse problems, where boundary conditions may be ill-defined, and data-absent scenarios, where typical supervised learning approaches will fail. Here, we further explore the use of this modeling methodology to surrogate modeling of a fluid dynamical system, and demonstrate additional undiscussed and interesting advantages of such a modeling methodology over conventional data-driven approaches: 1) improving the model's predictive performance even with incomplete description of the underlying physics; 2) improving the robustness of the model to noise in the dataset; 3) reduced effort to convergence during optimization for a new, previously unseen scenario by transfer optimization of a pre-existing model. Hence, we noticed the inclusion of a physics-based regularization term can substantially improve the equivalent data-driven surrogate model in many substantive ways, including an order of magnitude improvement in test error when the dataset is very noisy, and a 2-3x improvement when only partial physics is included. In addition, we propose a novel transfer optimization scheme for use in such surrogate modeling scenarios and demonstrate an approximately 3x improvement in speed to convergence and an order of magnitude improvement in predictive performance over conventional Xavier initialization for training of new scenarios.

연구 동기 및 목표

• 제한된 또는 노이즈가 있는 데이터가 있는 시나리오에서 물리 기반 신경망(PINNs)을 사용하여 유체역학의 보조 모델링을 향상시키는 것.
• 순수하게 데이터 기반 접근 방식과 비교할 때 부분적 또는 불완전한 물리 법칙을 통합함으로써 모델 성능이 어떻게 향상되는지 조사하는 것.
• 전이 최적화를 통해 새로운, 미리 보지 못한 유체역학 시나리오에 대한 학습 시간을 단축하고 일반화 능력을 향상시키는 것.
• 학습 데이터의 노이즈에 대한 PINN의 강건성과 경계 조건이 명확하지 않을 때 정확도를 유지할 수 있는 능력을 평가하는 것.

제안 방법

• 저자들은 데이터 적합성과 나비에-스톡스 방정식 잔여항을 조합한 손실 함수를 최소화하여 물리 기반 신경망(PINN)을 학습시킨다.
• PINN 아키텍처는 적응형 학습률을 사용하는 확률적 경사 하강법으로 학습되며, 관측된 데이터와 물리적 제약 조건을 모두 통합한다.
• 새로운 유체역학 시나리오에 빠르게 수렴할 수 있도록 관련된 유체역학 시나리오에서 사전 학습된 모델의 가중치로 초기화하는 혁신적인 전이 최적화 기법을 도입한다.
• 자동 미분을 활용하여 신경망 출력의 공간적 및 시간적 도함수를 계산함으로써 PDE를 약한 형태로 강제 적용한다.
• 이 방법은 데이터가 희박하거나 노이즈가 있을 때조차도 제어 방정식에서의 이탈을 방지하기 위해 잔여 기반 손실 항목을 사용한다.
• 프레임워크는 새로운 경계 조건이나 초기 조건에 대해 사전 학습된 모델을 미세 조정함으로써 전이 학습을 지원하며, 추가 학습 비용을 최소화한다.

실험 결과

연구 질문

• RQ1 부분적 또는 불완전한 데이터가 있는 유체역학 보조 모델링에서 물리 기반 정규화를 통합할 경우 예측 성능이 어떻게 향상되는가?
• RQ2 기존의 순수 데이터 기반 모델과 비교할 때 PINN 프레임워크가 훈련 데이터의 노이즈에 대해 얼마나 강건한가?
• RQ3 새로운, 이전에 보지 못한 유체역학 시나리오를 모델링할 때 전이 최적화가 학습 시간을 크게 단축하고 수렴 속도를 향상시킬 수 있는가?
• RQ4 PINN 손실 함수에 부분적인 물리 법칙만 포함했을 때 성능 향상은 어느 정도 이루어지는가?
• RQ5 기본적인 Xavier 초기화와 비교했을 때 제안된 전이 최적화 기법은 수렴 속도와 예측 정확도 측면에서 어떻게 성능을 냈는가?

주요 결과

• 노이즈가 매우 심한 데이터셋으로 학습했을 때 PINN 모델은 테스트 오차가 한 계급 수준 향상되어 데이터 손상에 대한 강건성이 뛰어나다는 것을 입증하였다.
• 손실 함수에 부분적인 물리 법칙만 포함했을 때도 순수 데이터 기반 기준 모델 대비 2~3배의 예측 정확도 향상을 기록하였다.
• 제안된 전이 최적화 기법은 표준 Xavier 초기화 대비 수렴까지의 학습 시간을 약 3배 단축시켰다.
• 경계 조건이 명확하지 않은 경우에도 PINN 프레임워크는 높은 정확도를 유지하였으며, 역 문제 설정에서 전통적인 지도 학습보다 뛰어난 성능을 보였다.
• 물리 기반 정규화를 통합함으로써 대량의 레이블이 필요한 데이터의 필요성을 크게 줄였으며, 다양한 유체역학 시나리오 간의 일반화 능력을 향상시켰다.
• 사전 학습된 모델을 기반으로 미세 조정함으로써 새로운 시나리오에 대한 빠른 적응이 가능했으며, 사전 학습 후 재학습이 거의 필요로 하지 않았다.