[논문 리뷰] Learning Physics-Informed Neural Networks without Stacked Back-propagation

Di He, Shanda Li외 6명|arXiv (Cornell University)|2022. 02. 18.

Model Reduction and Neural Networks인용 수 9

한 줄 요약

이 논문은 두 번째 차수 도함수를 계산하기 위해 쌓인 역전파(back-propagation)를 제거하기 위해 가우시안 스무딩 모델과 스텐의 항법(Stein's identity)을 사용하는 물리 기반 신경망(PINN) 훈련 방법을 제안한다. 이로 인해 정확도를 유지하면서도 효율적이고 확장 가능한 훈련이 가능해지며, 기울기 계산을 몬테카를로 기반 도함수 추정기로 대체함으로써 고차원 PDE 기준 테스트에서 상당한 속도 향상을 달성한다. 이는 최대 250차원에 이르는 고차원 PDE 기준에서 검증되었다.

ABSTRACT

Physics-Informed Neural Network (PINN) has become a commonly used machine learning approach to solve partial differential equations (PDE). But, facing high-dimensional secondorder PDE problems, PINN will suffer from severe scalability issues since its loss includes second-order derivatives, the computational cost of which will grow along with the dimension during stacked back-propagation. In this work, we develop a novel approach that can significantly accelerate the training of Physics-Informed Neural Networks. In particular, we parameterize the PDE solution by the Gaussian smoothed model and show that, derived from Stein's Identity, the second-order derivatives can be efficiently calculated without back-propagation. We further discuss the model capacity and provide variance reduction methods to address key limitations in the derivative estimation. Experimental results show that our proposed method can achieve competitive error compared to standard PINN training but is significantly faster. Our code is released at https://github.com/LithiumDA/PINN-without-Stacked-BP.

연구 동기 및 목표

• 고차원 두 번째 차수 편미분방정식(PDEs)을 해결할 때 발생하는 물리 기반 신경망(PINN)의 확장성 문제를 해결한다.
• PINN 손실 함수에서 두 번째 차수 도함수를 계산하기 위해 요구되는 높은 계산 비용을 가진 쌓인 역전파를 극복한다.
• 스텐의 항법과 몬테카를로 추정을 활용해 역전파 없이 두 번째 차수 도함수를 효율적으로 계산할 수 있는 방법을 개발한다.
• 훈련의 안정성을 위해 도함수 추정의 분산을 줄이며, 모델의 표현력을 유지한다.
• 제안된 방법이 고차원 PDE에서 경쟁 가능한 정확도를 유지하면서도 훨씬 더 빠른 훈련 시간을 달성할 수 있음을 입증한다.

제안 방법

• PDE 해를 가우시안 스무딩 모델로 매개변수화한다: $ u(x;\theta) = \mathbb{E}_{\delta \sim \mathcal{N}(0,\sigma^2\mathbf{I})}[f(x+\delta;\theta)] $, 여기서 $ f $ 는 기본 신경망이다.
• 스텐의 항법을 활용해 $ u $ 의 두 번째 차수 도함수를 기본 네트워크 $ f $ 에 대한 기댓값으로 재구성함으로써, 역전파 없이 도함수 계산이 가능하도록 한다.
• PDE 잔차 손실에서 도함수 항목을 전방전파 동안 몬테카를로 샘플링을 통해 추정한다.
• 특히 고차수 도함수의 경우에 안정적인 훈련을 위해 분산 감소 기법—제어 변수(control variates)와 반대칭 변수(antithetic variables)—를 적용한다.
• 전방전파 도함수 추정기를 통해 계산된 손실에 대해 한 번의 역전파만 수행함으로써 계산 오버헤드를 크게 줄인다.
• 모델 표현력과 수치적 안정성의 균형을 맞추기 위해 노이즈 수준 $ \sigma $ 를 조정하며, $ \sigma \leq 0.1 $ 이 정확도 유지에 유리하다고 밝혀졌다.

실험 결과

연구 질문

• RQ1 PINN 손실 함수에서 두 번째 차수 도함수를 쌓인 역전파 없이 계산할 수 있는가? 이는 훈련 효율성을 향상시킬 수 있는가?
• RQ2 가우시안 스무딩과 스텐의 항법을 사용하면 고차원 PDE에서 어떻게 역전파 없이 도함수 추정이 가능해지는가?
• RQ3 노이즈 수준 $ \sigma $ 는 가우시안 스무딩 PINN 프레임워크에서 모델 용량과 해의 정확도에 어떤 영향을 미치는가?
• RQ4 분산 감소 기법—제어 변수와 반대칭 변수—은 고차수 도함수의 추정 안정성에 얼마나 효과적인가?
• RQ5 제안된 방법은 고차원 PDE에서 해의 정확도를 경쟁적으로 유지하면서도 PINN 훈련 속도를 얼마나 빠르게 만들 수 있는가?

주요 결과

• 기본 모델과 비교해 경쟁 가능한 해의 정확도를 달성했으며, 250차원 HJB 방정식에서 상대 오차가 기준 모델과 유사하다.
• 쌓인 역전파를 제거함으로써 훈련 시간을 크게 단축시켰고, 분산 시스템에서의 효율적 병렬 처리가 가능해졌다.
• 제어 변수와 반대칭 변수를 모두 적용한 분산 감소 스텐 도함수 추정기는 기존의 순수 추정기 대비 두 번째 차수 도함수의 근사 오차를 최대 100배까지 감소시켰다.
• 작은 노이즈 수준 $ \sigma \leq 0.1 $ 이 모델 표현력에 최적임을 확인했으며, $ \sigma = 1 $ 일 경우 함수 클래스 표현이 부족해 상대 오차가 높아진다.
• 작은 샘플 수(예: $ K = 256 $)에서도 정확도가 유지되어 강건성과 효율성을 입증했으며, $ K $ 가 증가할수록 성능이 점진적으로 향상된다.
• 훈련 시간은 $ \sigma $ 에 거의 영향을 받지 않지만, 도함수 계산에서 $ \sigma^4 $ 규모의 항들이 발생함으로써 매우 작은 $ \sigma $ 에서 수치적 불안정성이 발생하여 실용적인 하한선을 제한한다.