[논문 리뷰] Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks

Ghazal Farhani, Alexander Kazachek외 1명|arXiv (Cornell University)|2022. 06. 29.

Model Reduction and Neural Networks인용 수 4

한 줄 요약

이 논문은 확률적 경사 하강법에 관성 항을 추가한 SGDM가 물리 기반 신경망(PINNs)에서 스펙트럼 편향을 크게 감소시켜 고주파수 편미분방정식(PDE) 문제에 대해서도 정확한 해로 수렴할 수 있도록 한다는 것을 보여준다. 신경접근핵(NTK) 이론을 활용해 저자들은 SGDM이 저주파수 및 고주파수 특징 수렴을 균형 있게 조절함으로써 학습 동역학을 향상시켜 기존의 SGD보다 우수한 성능을 보이며, 넓은 네트워크가 고정밀도 해를 달성할 수 있음을 입증한다.

ABSTRACT

Physics-informed neural network (PINN) algorithms have shown promising results in solving a wide range of problems involving partial differential equations (PDEs). However, they often fail to converge to desirable solutions when the target function contains high-frequency features, due to a phenomenon known as spectral bias. In the present work, we exploit neural tangent kernels (NTKs) to investigate the training dynamics of PINNs evolving under stochastic gradient descent with momentum (SGDM). This demonstrates SGDM significantly reduces the effect of spectral bias. We have also examined why training a model via the Adam optimizer can accelerate the convergence while reducing the spectral bias. Moreover, our numerical experiments have confirmed that wide-enough networks using SGDM still converge to desirable solutions, even in the presence of high-frequency features. In fact, we show that the width of a network plays a critical role in convergence.

연구 동기 및 목표

• PDE 해에서 고주파수 특징을 학습하지 못하는 PINNs에서 지속적인 스펙트럼 편향 문제를 해결한다.
• 학습 동역학에서 강한 스펙트럼 편향으로 인해 표준 SGD가 고주파수 PDE 문제를 해결하는 데 어려움을 겪는 이유를 규명한다.
• 최적화에서 관성 항(SGDM)과 적응형 방법(Adam)이 스펙트럼 편향을 어떻게 완화하고 수렴 속도를 가속화하는지 탐구한다.
• 네트워크의 너비가 실질적인 유한한 너비의 네트워크에서도 고주파수 문제에 대해 오차를 줄이는 데 핵심적인 역할을 한다는 것을 보여준다.
• SGDM이 기울기 흐름 동역학을 수정함으로써 고주파수 PDE에 대해 정확한 해로 수렴할 수 있음을 이론적 및 실험적 증거로 제시한다.

제안 방법

• SGDM 최적화 하에서 무한히 넓은 PINNs의 기울기 흐름 동역학을 분석하기 위해 신경접근핵(NTK) 이론을 활용한다.
• NTK 기반 분석을 통해 훈련 과정을 연속 시간 동역학계로 모델링하여 주파수 성분 간의 수렴 행동을 연구한다.
• SGDM 하에서 저주파수 및 고주파수 특징의 수렴 속도를 비교하여, 관성이 저주파수 학습을 느리게 하고 고주파수 성분을 가속화함을 보여준다.
• 고정 깊이, 유한한 너비의 네트워크를 사용한 수치 실험을 통해 넓이와 최적화기 선택이 미치는 영향을 검증한다.
• 증가하는 주파수 매개변수를 가진 벤치마크 PDE(Poisson, 이동, 반응-확산)에 대해 SGDM 및 Adam 최적화기를 사용한 PINNs를 구현한다.
• 다양한 네트워크 너비와 하이퍼파rameter에서 예측값과 해석적 해 간의 상대 오차를 측정하여 해의 정확도를 정량화한다.

실험 결과

연구 질문

• RQ1 확률적 경사 하강법에 관성 항을 추가한 SGDM이 PDE를 해결하기 위한 물리 기반 신경망(PINNs)에서 스펙트럼 편향에 어떻게 영향을 미치는가?
• RQ2 Adam 최적화기가 기존의 SGD보다 PINNs에서 수렴 속도를 빠르게 하는 이유는 무엇이며, 스펙트럼 편향에 어떤 영향을 미치는가?
• RQ3 PINN의 너비를 증가시키는 것이 고주파수 PDE 문제에서 스펙트럼 편향을 완화하고 해의 정확도를 향상시키는 데 어느 정도 기여하는가?
• RQ4 SGDM 하에서 무한히 넓은 PINNs의 이론적 수렴 동역학을 실용적인 유한한 너비의 네트워크로 확장할 수 있는가?
• RQ5 SGDM 하에서 저주파수 및 고주파수 성분의 학습 동역학은 어떻게 다를까? 관성 항은 이들을 균형 있게 조절하는 데 어떤 역할을 하는가?

주요 결과

• SGDM는 저주파수 특징의 수렴 속도를 늦추고 고주파수 성분의 수렴 속도를 높여 주파수 성분 간의 균형 잡힌 학습을 이끌어내어 PINNs에서 스펙트럼 편향을 크게 감소시킨다.
• 고주파수 PDE 문제에서는 기존의 SGD가 고주파수 성분을 위한 매우 느린 학습률을 요구하여 수렴하지 못하지만, SGDM은 도전적인 경우에도 수렴을 가능하게 한다.
• 수치 실험 결과, 넓이가 500인 넓은 네트워크는 고주파수 문제에서 상대 오차가 약 10⁻³ 수준을 기록하는 반면, 넓이가 50인 좁은 네트워크는 오차가 약 10⁻¹ 수준이었다.
• 반응-확산 및 이동 방정식에서 고매개변수(예: ν=23, ρ=25, β=100)를 가진 경우, SGDM과 Adam은 기존의 SGD보다 훨씬 낮은 오차를 기록했으며, 더 적은 에포크 수로도 수렴했다.
• 어떤 경우에는 SGDM이 Adam보다 더 빠른 수렴 속도를 보였지만, Adam은 적응형 학습률 덕분에 여전히 기존의 SGD를 능가했다.
• NTK를 통한 이론적 분석 결과, SGDM은 저주파수 성분에 대해 과다감쇠된, 고주파수 성분에 대해 임계감쇠된 진동 동역학을 유도하여, 기존의 SGD보다 스펙트럼 편향을 감소시킨다.