[논문 리뷰] When and why PINNs fail to train: A neural tangent kernel perspective

Sifan Wang, Xinling Yu외 1명|arXiv (Cornell University)|2020. 07. 28.

Model Reduction and Neural Networks참고 문헌 46인용 수 120

한 줄 요약

이 논문은 PINN 학습 역학을 신경 텐던 커널 NTK 렌즈를 통해 분석하여 무한 너비 한계에서 결정적 커널로 수렴한다는 것을 증명하고, 스펙트럼 바이어스와 관련된 학습 경로 문제를 확인한 뒤, 적응형 NTK 기반 학습 전략을 제시한다.

ABSTRACT

Physics-informed neural networks (PINNs) have lately received great attention thanks to their flexibility in tackling a wide range of forward and inverse problems involving partial differential equations. However, despite their noticeable empirical success, little is known about how such constrained neural networks behave during their training via gradient descent. More importantly, even less is known about why such models sometimes fail to train at all. In this work, we aim to investigate these questions through the lens of the Neural Tangent Kernel (NTK); a kernel that captures the behavior of fully-connected neural networks in the infinite width limit during training via gradient descent. Specifically, we derive the NTK of PINNs and prove that, under appropriate conditions, it converges to a deterministic kernel that stays constant during training in the infinite-width limit. This allows us to analyze the training dynamics of PINNs through the lens of their limiting NTK and find a remarkable discrepancy in the convergence rate of the different loss components contributing to the total training error. To address this fundamental pathology, we propose a novel gradient descent algorithm that utilizes the eigenvalues of the NTK to adaptively calibrate the convergence rate of the total training error. Finally, we perform a series of numerical experiments to verify the correctness of our theory and the practical effectiveness of the proposed algorithms. The data and code accompanying this manuscript are publicly available at \url{https://github.com/PredictiveIntelligenceLab/PINNsNTK}.

연구 동기 및 목표

• 경사 하강법을 이용한 NTK 이론하에서 완전 연결 PINN의 학습 역학을 조사한다.
• PINN NTK를 유도하고 무한 너비에서 결정적 커널로 수렴함을 보인다.
• NTK 스펙트럼이 PINN의 손실 구성요소 수렴 속도에 어떻게 지배하는지 분석한다.
• 스펙트럴 바이어스와 손실 항 간의 차이를 기본적인 병리로 식별한다.
• NTK 고유값을 이용해 손실 구성요소 간 수렴을 균형 있게 하기 위한 적응형 학습 전략을 제안한다.

제안 방법

• PINN 손실을 L = L_b + L_r 로 정의하고 데이터 및 PDE 잔여항으로 구성한다.
• 진화를 지배하는 결합된 기울기 흐름 역학과 NTK 행렬 K(t)를 유도한다.
• 무한 너비 한계에서 PINN 출력과 PDE 잔여가 가우시안 프로세스로 수렴한다는 것을 증명한다.
• 초기화 시 PINN NTK가 결정적 커널 K*로 수렴하고, 학습률이 무한소일 때 훈련 중에 일정하게 유지된다는 것을 보인다.
• K*의 고유구조를 분석하여 스펙트럴 바이어스와 손실 구성요소의 차등 수렴 속도를 설명한다.
• NTK 스펙트럼에 이끌려 학습 가능성을 개선하는 적응적 가중치 방식 (λ_b, λ_r)을 제안한다.

실험 결과

연구 질문

• RQ1 무한 너비 한계에서 PINN NTK가 결정적 커널로 수렴하는 조건은 무엇인가?
• RQ2 훈련 중에 PINN NTK는 일정하게 남는가, 그리고 이것이 학습 역학에 어떤 시사점을 주는가?
• RQ3 PINN NTK의 스펙트럼이 서로 다른 손실 구성요소의 수렴 속도에 어떻게 영향을 미치는가(경계 vs 잔여)?
• RQ4 NTK 고유값을 기반으로 한 적응적 가중치가 스펙트럼 바이어스를 완화하고 학습 가능성을 개선할 수 있는가?
• RQ5 NTK 인사이트에서 도출할 수 있는 PINN 학습 안정성 및 정확성 향상을 위한 실용 알고리즘은 무엇인가?

주요 결과

• PINNs은 선형 PDE에 대해 무한 너비에서 가우시안 프로세스로 수렴한다.
• PINN NTK는 결정적 커널로 수렴하고, 학습률이 무한소일 때 훈련 중에 일정하게 유지된다.
• 총 학습 오차의 수렴 속도는 NTK의 스펙트럼에 의해 지배되며 손실 구성요소 간 차이를 드러낸다.
• PINNs은 스펙트럴 바이어스를 보이며, NTK의 고주파 성분은 NTK 고유값의 빠른 감소로 인해 느리게 학습된다.
• 저자들은 NTK 고유값을 활용해 손실 항 간 수렴을 균형 있게 하는 적응형 경사하강 알고리즘을 제안한다.
• 수치 실험은 이론을 검증하고 제안 방법으로 학습 가능성과 정확도가 향상됨을 보여준다.