[논문 리뷰] Physics-Guided, Physics-Informed, and Physics-Encoded Neural Networks in Scientific Computing

Salah A Faroughi, Nikhil Pawar외 5명|arXiv (Cornell University)|2022. 11. 14.

Model Reduction and Neural Networks인용 수 47

한 줄 요약

이 논문은 물리학을 과학 계산에 적용하기 위해 PgNNs, PiNNs, PeNNs, 그리고 신경 연산자(NO)를 포함한 네 가지 신경망 프레임워크를 검토하고, 유체 및 고체역학에서의 아키텍처, 응용, 한계 및 향후 기회를 논의한다.

ABSTRACT

Recent breakthroughs in computing power have made it feasible to use machine learning and deep learning to advance scientific computing in many fields, including fluid mechanics, solid mechanics, materials science, etc. Neural networks, in particular, play a central role in this hybridization. Due to their intrinsic architecture, conventional neural networks cannot be successfully trained and scoped when data is sparse, which is the case in many scientific and engineering domains. Nonetheless, neural networks provide a solid foundation to respect physics-driven or knowledge-based constraints during training. Generally speaking, there are three distinct neural network frameworks to enforce the underlying physics: (i) physics-guided neural networks (PgNNs), (ii) physics-informed neural networks (PiNNs), and (iii) physics-encoded neural networks (PeNNs). These methods provide distinct advantages for accelerating the numerical modeling of complex multiscale multi-physics phenomena. In addition, the recent developments in neural operators (NOs) add another dimension to these new simulation paradigms, especially when the real-time prediction of complex multi-physics systems is required. All these models also come with their own unique drawbacks and limitations that call for further fundamental research. This study aims to present a review of the four neural network frameworks (i.e., PgNNs, PiNNs, PeNNs, and NOs) used in scientific computing research. The state-of-the-art architectures and their applications are reviewed, limitations are discussed, and future research opportunities in terms of improving algorithms, considering causalities, expanding applications, and coupling scientific and deep learning solvers are presented. This critical review provides researchers and engineers with a solid starting point to comprehend how to integrate different layers of physics into neural networks.

연구 동기 및 목표

• 과학 계산에서 데이터 희소성을 다루기 위해 물리가 신경망에 어떻게 통합되는지 요약한다.
• 아키텍처, 강점, 한계 측면에서 PgNNs, PiNNs, PeNNs, and neural operators를 비교한다.
• 이 프레임워크들의 유체 역학 및 고체 역학 적용을 분석한다.
• 현재의 한계를 강조하고 physics with deep learning의 통합을 위한 향후 연구 방향을 제시한다.

제안 방법

• PgNNs를 물리 기반 데이터 세트에 대한 지도 학습을 통해 알려진 물리를 통합하는 데이터 기반 대리모로 설명한다.
• PiNNs를 손실 함수에 지배 방정식의 잔차를 포함시켜 물리 법칙을 내재하는 모델로 설명한다(자동 미분 사용).
• PeNNs를 데이터 희소성 하에서 일반화를 강화하기 위해 물리를 네트워크 구조에 직접 인코딩하는 아키텍처로 소개한다.
• 신경 연산자(NO)를 연속 연산자를 학습하는 모델로 논의하며, 실시간 예측을 가능하게 하고 PiNN/PeNN 프레임워크와의 결합 가능성을 제시한다.

실험 결과

연구 질문

• RQ1 과학 계산에서 물리를 강제하는 뚜렷한 신경망 프레임워크(PgNNs, PiNNs, PeNNs, NOs)는 무엇이며 이론과 실무에서 어떻게 차이가 있는가?
• RQ2 유체 역학 및 고체 역학에서 이러한 물리 정보 모델의 주요 응용, 장점 및 한계는 무엇인가?
• RQ3 이러한 접근법이 데이터 희소성과 일반화를 어떻게 다루며 실시간 또는 다물리 시뮬레이션의 전망은 어떠한가?
• RQ4 알고리즘, 인과성 고려, 해석기 결합을 개선하기 위한 향후 연구 기회는 무엇인가?

주요 결과

• PgNNs는 물리 기반 데이터를 활용하여 과학 계산의 전처리, 모델링 및 후처리 단계를 가속할 수 있다.
• PiNNs는 방정식 잔차를 통해 물리 법칙을 강제하여 희소 데이터로 학습을 가능하게 하지만 수렴성, 안정성, 경계 조건 처리와 같은 문제에 직면한다.
• PeNNs는 물리를 네트워크 아키텍처에 인코딩하여 데이터 부족과 일반화 측면에서 PgNNs 및 PiNNs에 비해 성능을 향상시킨다.
• Neural operators (NOs)는 연속 연산자를 학습하고 실시간 추론에 대한 강인성을 제공하며, 복잡한 비선형 다물리 학습을 위해 PiNNs 및 PeNNs와 결합될 수 있다.
• 신경 아키텍처와 전통적 해석기를 결합한 하이브리드 접근법은 CFD 및 다물리 문제에서 유의미한 속도 향상(예: 더 거친 격자에서 유사 정확도)과 향상된 효율성을 달성할 수 있다.
• 본 검토는 최신 아키텍처, 도메인 간 응용, 그리고 인과성, 수렴성, 더 넓은 응용에 대한 근본적 연구 필요성을 강조한다.