[논문 리뷰] On the Stability and Convergence of Physics Informed Neural Networks

Dimitrios Gazoulis, Ioannis Gkanis외 1명|arXiv (Cornell University)|2023. 08. 10.

Model Reduction and Neural NetworksPhysics and Astronomy인용 수 3

한 줄 요약

이 논문은 에너지 함수의 강제성(coercivity)과 $γ$-수렴을 활용하여 물리 기반 신경망(PINNs)의 안정성과 수렴성에 대한 엄밀한 수학적 프레임워크를 수립한다. 안정적인 학습을 위해서는 이산 강제성이 필요하며, 이는 명시적 시간 이산화가 엄격한 CFL 유사 조건 없이 불안정성을 초래함을 보여주며, 암시적 스킴은 신경망 공간의 적절한 근사 성질 하에서 수렴을 보장함을 보여준다.

ABSTRACT

Physics Informed Neural Networks is a numerical method which uses neural networks to approximate solutions of partial differential equations. It has received a lot of attention and is currently used in numerous physical and engineering problems. The mathematical understanding of these methods is limited, and in particular, it seems that, a consistent notion of stability is missing. Towards addressing this issue we consider model problems of partial differential equations, namely linear elliptic and parabolic PDEs. Motivated by tools of nonlinear calculus of variations we systematically show that coercivity of the energies and associated compactness provide a consistent framework for stability. For time discrete training we show that if these properties fail to hold then methods may become unstable. Furthermore, using tools of $Γ$- convergence we provide new convergence results for weak solutions by only requiring that the neural network spaces are chosen to have suitable approximation properties. While our analysis is motivated by neural network-based approximation spaces, the framework developed here is applicable to any class of discrete functions satisfying the relevant approximation properties, and hence may serve as a foundation for the broader study of variational nonlinear PDE solvers.

연구 동기 및 목표

• 물리 기반 신경망(PINNs)이 편미분방정식(PDEs)을 풀 때 안정성에 대한 일관된 수학적 개념의 부족을 해결하기 위해.
• 특히 명시적 및 암시적 시간 이산화를 대조함으로써 시간 이산화 학습 하에서 PINNs의 안정성을 분석하기 위해.
• γ-수렴 이론을 사용하여 선형 타원형 및 포아송형 PDE의 약한 해에 대한 수렴 보장을 제공하기 위해.
• 강제성과 컴팩턴스가 PINN 근사의 안정성과 수렴성을 보장하는 핵심 수학적 조건임을 규명하기 위해.
• 강제성의 실패가 특히 명시적 시간 이산화 스킴에서 불안정성을 유도함을 보여주기 위해.

제안 방법

• 신경망 공간 위에서 $L^2$-노름에 대해 잔차 기반 에너지 함수의 최소화자로 PINNs를 수식화하기 위해.
• 비선형 변분법 도구, 특히 강제성과 컴팩턴스를 적용하여 PINNs에 대한 새로운 안정성 개념을 정의하기 위해.
• γ-수렴을 사용하여 신경망 공간의 근사 성질 하에서 PINN 해가 PDE의 약한 해로 수렴함을 증명하기 위해.
• 암시적(IE) 및 명시적(EE) 오일러 유사 시간 이산화를 사용한 시간 이산 PINN 공식화를 분석하기 위해.
• 복구 수열을 구성하여 이산 에너지 함수의 $γ$-극한을 검증하고 최소화자의 수렴을 확립하기 위해.
• DeepXDE를 사용한 수치 실험에서 공간 학습 점과 시간 단계의 변화에 따라 명시적 대 암시적 시간 이산화의 안정성 비교를 수행하기 위해.

Figure 1: Explicit time discrete training. Left: time step $0.4:$ the approximate solution seems that diverge. Right: time step $0.01:$ with much smaller time step the approximate solution has stable behaviour.

실험 결과

연구 질문

• RQ1 물리 기반 신경망이 PDE를 풀 때 일관된 안정성 개념을 정의할 수 있는가?
• RQ2 에너지 함수의 강제성이 PINN 근사의 안정성 확보에 어떤 역할을 하는가?
• RQ3 왜 PINNs에서 명시적 시간 이산화 스킴이 불안정성을 유도하며, 어떤 조건에서 안정화될 수 있는가?
• RQ4 PINN 에너지 함수의 최소화자가 진짜 약한 해로 수렴하는 조건은 무엇인가?
• RQ5 신경망 공간의 근사 성질이 PINN 해의 수렴에 어떤 영향을 미치는가?

주요 결과

• 에너지 함수의 강제성과 관련된 컴팩턴스는 PINNs에서 안정성에 필수적이고 충분한 조건이며, 안정성에 대한 엄밀한 수학적 기반을 제공한다.
• PINNs에서 명시적 시간 이산화가 강제성을 만족하지 못해 불안정성과 발산을 유도하며, 특히 시간 간격이 너무 크거나 공간 학습 점이 증가할 경우 더욱 심화된다.
• 암시적 시간 이산화 스킴은 강제성을 유지하며 진짜 해로의 안정적 수렴을 보장한다.
• 수치 실험 결과는 명시적 PINNs가 큰 시간 간격(예: $k=0.4$)에서는 발산하지만, 작은 간격(예: $k=0.01$)에서는 안정화됨을 확인하여 이론적 분석을 뒷받침한다.
• 이산 에너지 함수가 $γ$-수렴하고 신경망 공간이 적절한 근사 성질을 가지면, PINN 최소화자 전체 수열이 $L^2(0,T;H^1(Ω))$에서 진짜 해 $u$로 수렴한다.
• 이 논문은 에너지 함수의 $γ$-수렴이, 이산 설정에서 균일 강제성을 가정하지 않더라도 PINN 해가 약한 해로 수렴하는 데에 충분함을 확립한다.

Figure 2: The approximations at times $t_{n}=n(0.2)$ , $n=1,2,\dots,$ are displayed with red and the initial condition with black. Left: Explicit time discrete training with time step $0.2$ and $16$ training points. The approximate solution seems that diverge. Left: Implicit time discrete training w