[논문 리뷰] NeuralPDE: Automating Physics-Informed Neural Networks (PINNs) with Error Approximations

Kirill Zubov, Zoe McCarthy외 12명|arXiv (Cornell University)|2021. 07. 19.

Model Reduction and Neural Networks인용 수 49

한 줄 요약

NeuralPDE는 수치적 사분법 기반의 형식이 경계된 오차 허용치를 갖는 새로운 손실 함수를 생성하고, 기호적 코드 생성 및 GPU 지원으로 자동화된 PINN 워크플로우를 가능하게 한다.

ABSTRACT

Physics-informed neural networks (PINNs) are an increasingly powerful way to solve partial differential equations, generate digital twins, and create neural surrogates of physical models. In this manuscript we detail the inner workings of NeuralPDE.jl and show how a formulation structured around numerical quadrature gives rise to new loss functions which allow for adaptivity towards bounded error tolerances. We describe the various ways one can use the tool, detailing mathematical techniques like using extended loss functions for parameter estimation and operator discovery, to help potential users adopt these PINN-based techniques into their workflow. We showcase how NeuralPDE uses a purely symbolic formulation so that all of the underlying training code is generated from an abstract formulation, and show how to make use of GPUs and solve systems of PDEs. Afterwards we give a detailed performance analysis which showcases the trade-off between training techniques on a large set of PDEs. We end by focusing on a complex multiphysics example, the Doyle-Fuller-Newman (DFN) Model, and showcase how this PDE can be formulated and solved with NeuralPDE. Together this manuscript is meant to be a detailed and approachable technical report to help potential users of the technique quickly get a sense of the real-world performance trade-offs and use cases of the PINN techniques.

연구 동기 및 목표

• NeuralPDE와 PINN 자동화 방법에 대한 상세한 기술 보고서를 제공한다.
• 수치적 사분법 기반 형식이 오차 허용치로 적응성을 어떻게 이끌어내는지 설명한다.
• 확장된 손실 형식이 매개변수 추정 및 연산자 발견에 어떻게 도움을 주는지 보여준다.
• 추상 형식으로부터 순수 기호적 형식과 코드 생성을 프레임워크에서 시연한다.

제안 방법

• 오차 제어 가능한 적응성을 가능하게 하기 위해 수치적 사분법을 사용하여 PINN 학습 손실을 형식화한다.
• 수치적 사분법 기반 형식에서 파생된 새로운 손실 함수를 개발한다.
• 추상 PDE 형식으로부터 학습 코드가 생성되도록 순수 기호적 형식을 사용한다.
• NeuralPDE 내에서 GPU 활용 및 연립 편미분방정식의 해를 가능하게 한다.
• 프레임워크 내에서 복잡한 다물리 예시(Doyle-Fuller-Newman 모델)를 선보인다.

실험 결과

연구 질문

• RQ1 수치적 사분법 기반 형식이 PINN에 대해 경계된 오차 허용치를 갖는 손실 함수를 어떻게 생성할 수 있는가?
• RQ2 확장된 손실 형식을 통해 NeuralPDE가 매개변수 추정 및 연산자 발견을 어떻게 지원하는가?
• RQ3 다양한 PDE 집합에 걸친 서로 다른 학습 기법의 성능 트레이드오프는 무엇인가?
• RQ4 기호적이고 추상적인 형식을 어떻게 활용하여 학습 코드를 자동으로 생성하고 GPU 가속 PDE 해법을 가능하게 할 수 있는가?

주요 결과

• NeuralPDE는 수치적 사분법에 연결된 새로운 손실 함수를 제시하여 오차 허용치에 대한 적응성을 가능하게 한다.
• 이 프레임워크는 확장된 손실 형식을 통해 매개변수 추정 및 연산자 발견을 지원한다.
• 성능 분석은 대규모 PDE 집합에서 학습 기법을 비교하여 트레이드오프를 밝힌다.
• 복잡한 다물리 PDE인 Doyle-Fuller-Newman 모델은 NeuralPDE에서 형식화되고 해석될 수 있다.