[논문 리뷰] A unified scalable framework for causal sweeping strategies for Physics-Informed Neural Networks (PINNs) and their temporal decompositions

Michael Penwarden, Ameya D. Jagtap외 3명|arXiv (Cornell University)|2023. 02. 28.

Model Reduction and Neural Networks참고 문헌 48인용 수 9

한 줄 요약

본 논문은 시간 의존 PDE에 대한 PINNs 및 XPINNs에서 인과성을 보장하기 위한 통합 프레임워크를 도입하고, stacked-decomposition와 window-sweeping 방법을 제안하며, transfer-learning-inspired 초기화와 시간-스위핑(collocation) 알고리즘을 통해 학습 속도와 확장성을 향상시킨다.

ABSTRACT

Physics-informed neural networks (PINNs) as a means of solving partial differential equations (PDE) have garnered much attention in the Computational Science and Engineering (CS&E) world. However, a recent topic of interest is exploring various training (i.e., optimization) challenges - in particular, arriving at poor local minima in the optimization landscape results in a PINN approximation giving an inferior, and sometimes trivial, solution when solving forward time-dependent PDEs with no data. This problem is also found in, and in some sense more difficult, with domain decomposition strategies such as temporal decomposition using XPINNs. We furnish examples and explanations for different training challenges, their cause, and how they relate to information propagation and temporal decomposition. We then propose a new stacked-decomposition method that bridges the gap between time-marching PINNs and XPINNs. We also introduce significant computational speed-ups by using transfer learning concepts to initialize subnetworks in the domain and loss tolerance-based propagation for the subdomains. Finally, we formulate a new time-sweeping collocation point algorithm inspired by the previous PINNs causality literature, which our framework can still describe, and provides a significant computational speed-up via reduced-cost collocation point segmentation. The proposed methods form our unified framework, which overcomes training challenges in PINNs and XPINNs for time-dependent PDEs by respecting the causality in multiple forms and improving scalability by limiting the computation required per optimization iteration. Finally, we provide numerical results for these methods on baseline PDE problems for which unmodified PINNs and XPINNs struggle to train.

연구 동기 및 목표

• 정방향 PINNs 및 XPINNs의 학습 도전과 정보 전파와의 관계를 특징 지어 설명한다.
• 시간-슬래브 및 도메인 분해 방법을 포괄하는 통합 인과성 강제 프레임워크를 제안한다.
• 시간-마칭 PINNs와 XPINNs를 연결하는 stacked-decomposition 및 window-sweeping 접근법을 도입하여 인과성의 다리 역할을 한다.
• subnet 학습 가속화와 손실-허용 기반 하위도메인 전파를 구현하기 위해 transfer-learning 아이디어를 활용한다.
• 인과성을 유지하면서 계산 속도를 높이기 위한 시간-스위핑 collocation 포인트 알고리즘을 제시한다.

제안 방법

• 인과성 강제를 경성(hard), 연성(soft), 및 결합형으로 분류하여 기존 방법을 매핑한다.
• XPINNs와 시간-마칭 PINNs를 연결하여 인과성 학습을 위한 stacked-decomposition을 도입한다.
• 잔차 평가를 제한하고 인과성을 지속적으로 강제하는 window-sweeping collocation 포인트 알고리즘을 제안한다.
• 하위도메인에서 빠른 수렴을 위해 서브네트워크 초기화에 transfer-learning 개념을 도입한다.
• 훈련 속도를 높이기 위해 하위도메인 간 손실-허용 전파 메커니즘을 개발한다.
• 선행 인과성 문헌에서 영감을 얻은 시간-스위핑 collocation 전략을 형식화하여 배치 비용을 줄이고 정확성을 유지한다.

실험 결과

연구 질문

• RQ1 정보 전파 역학과 인과성 강제가 1 forward 시간 의존 PDE의 PINN 및 XPINN 학습에 어떤 영향을 미치는가?
• RQ2 통합 프레임워크가 시간-마칭 PINN과 XPINN를 연결하여 학습 도전과제를 극복할 수 있는가?
• RQ3 stacked-decomposition 및 window-sweeping 기법이 학습 속도, 확장성 및 강인성을 향상시키는가?
• RQ4 전이 학습에서 영감을 얻은 초기화와 손실-허용 전파가 정확성을 저하시키지 않으면서 계산 비용을 줄일 수 있는가?
• RQ5 시간-스위핑 collocation 포인트 알고리즘이 도메인 전반의 효율성과 인과성 강제에 어떤 영향을 미치는가?

주요 결과

• 인과성을 다중 형태로 강제하여 PINNs 및 XPINNs의 학습 도전과제를 다루는 단일 프레임워크가 제안된다.
• Stacked-decomposition은 시간-마칭 PINNs와 XPINNs를 연결하여 인과성 XPINN 프레임워크를 형성한다.
• Window-sweeping collocation 포인트 알고리즘은 인과성을 유지하면서 계산 비용을 감소시키며 상당한 속도 향상을 보인다.
• Transfer-learning-inspired 초기화는 하위도메인 학습을 크게 가속한다.
• 손실-허용 기반 하위도메인 전파는 안정성을 해치지 않으면서 학습 속도를 높인다.
• 수치 결과는 수정되지 않은 PINNs 및 XPINNs가 어려움을 겪는 기초 PDE 문제에서 학습 가능성이 향상됨을 보여준다.