[논문 리뷰] Understanding and mitigating gradient pathologies in physics-informed neural networks

Sifan Wang, Yujun Teng외 1명|arXiv (Cornell University)|2020. 01. 13.

Model Reduction and Neural Networks참고 문헌 49인용 수 197

한 줄 요약

논문은 물리 기반 신경망(PINN)에서의 경사 흐름의 경직성으로 인한 경사 병리들을 식별하고, 손실 항의 균형을 맞추는 새로운 적응 학습률 어닐링 스킴(adaptive learning-rate annealing scheme)과 새로운 아키텍처를 제안하여 예측 정확도를 크게 향상시킵니다.

ABSTRACT

The widespread use of neural networks across different scientific domains often involves constraining them to satisfy certain symmetries, conservation laws, or other domain knowledge. Such constraints are often imposed as soft penalties during model training and effectively act as domain-specific regularizers of the empirical risk loss. Physics-informed neural networks is an example of this philosophy in which the outputs of deep neural networks are constrained to approximately satisfy a given set of partial differential equations. In this work we review recent advances in scientific machine learning with a specific focus on the effectiveness of physics-informed neural networks in predicting outcomes of physical systems and discovering hidden physics from noisy data. We will also identify and analyze a fundamental mode of failure of such approaches that is related to numerical stiffness leading to unbalanced back-propagated gradients during model training. To address this limitation we present a learning rate annealing algorithm that utilizes gradient statistics during model training to balance the interplay between different terms in composite loss functions. We also propose a novel neural network architecture that is more resilient to such gradient pathologies. Taken together, our developments provide new insights into the training of constrained neural networks and consistently improve the predictive accuracy of physics-informed neural networks by a factor of 50-100x across a range of problems in computational physics. All code and data accompanying this manuscript are publicly available at \url{https://github.com/PredictiveIntelligenceLab/GradientPathologiesPINNs}.

연구 동기 및 목표

• PINN이 학습 중에 특히 경사 흐름의 경직성으로 인해 경사 병리로 고통받는 이유를 설명한다.
• PINN 손실에서 데이터 적합 항과 PDE 잔차 항 간의 불균형을 진단한다.
• 복합 손실의 균형화를 위한 적응 학습률 어닐링 알고리즘을 제안한다.
• 경사 병리에 더 강인한 새로운 신경망 아키텍처를 도입한다.
• 계산 물리학 문제 전반에서 PINN의 예측 정확도를 향상시키는 방법을 시연한다.

제안 방법

• 복합 손실 L(θ)=Lr(θ)+Σi λi Li(θ)로 구성된 PINN 공식화를 검토한다.
• Helmholtz 및 Poisson 방정식과 같은 간단한 벤치마크를 사용하여 경계 데이터 적합성과 PDE 잔차 항 사이의 그래디언트 불균형을 분석한다.
• 경사 흐름의 경직성이 표준 경사하강법에서의 불안정성을 유발할 수 있음을 보여주어 적응형 방법의 필요성을 제시한다.
• 그래디언트 통계에 기반하여 온라인으로 가중치 λi를 조정하는 학습률 어닐링 알고리즘을 제안한다(적응형 옵티마이저와 유사한 방식).
• 훈련 안정성을 개선하기 위해 경직성을 감소시킨 새로운 완전 연결 신경망 아키텍처를 도입한다.
• 계산 물리학 문제 전반에 걸친 경험적 시연을 통해 큰 예측 개선을 보인다.

실험 결과

연구 질문

• RQ1 PINN 학습 중에 경사 병리와 역전파에서의 불균형한 그래디언트가 발생하는 원인은 무엇인가?
• RQ2 경사 경직성이 PINN의 경사 기반 최적화의 안정성과 수렴에 어떤 영향을 미치는가?
• RQ3 그래디언트 통계에 기반한 적응적 손실 가중치 조정이 PINN의 학습 안정화를 가져올 수 있는가?
• RQ4 재설계된 네트워크 아키텍처가 경사 경직성을 감소시키고 PINN의 정확도를 향상시키는가?
• RQ5 제안된 방법들이 계산 물리학 문제 전반에서 어떤 수준의 예측 개선을 이룰 수 있는가?

주요 결과

• PINN의 경사 병리들은 경사 흐름의 경직성과 연관되어 있으며, 손실 항 간의 그래디언트 불균형을 야기한다.
• 경계/초기 조건 그래디언트가 소멸할 때 PDE 잔차 항이 학습을 지배할 수 있어 잘못된 예측으로 이어진다.
• 온라인으로 손실 항의 가중치를 미세 조정하는 적응 학습률 어닐링 알고리즘이 학습을 안정시키고 기여도를 균형 있게 만든다.
• 새로운 네트워크 아키텍처는 표준 완전 연결 신경망에 비해 그래디언트 흐름의 경직성을 감소시킨다.
• 제안된 방법들은 여러 계산 물리학 문제에서 PINN의 예측 정확도를 50–100x 수준으로 일관되게 향상시킨다.