[논문 리뷰] Bias-Variance Trade-off in Physics-Informed Neural Networks with Randomized Smoothing for High-Dimensional PDEs

Zheyuan Hu, Zhouhao Yang외 3명|arXiv (Cornell University)|2023. 11. 26.

Model Reduction and Neural Networks인용 수 9

한 줄 요약

본 논문은 Randomized Smoothing PINNs (RS-PINN)이 고차원 PDE에서 가지는 편향을 분석하고, 편향 제거 기법과 편향-편향 아님 하이브리드 접근법을 개발하며, 여러 고차원 PDE에서 이를 검증한다.

ABSTRACT

While physics-informed neural networks (PINNs) have been proven effective for low-dimensional partial differential equations (PDEs), the computational cost remains a hurdle in high-dimensional scenarios. This is particularly pronounced when computing high-order and high-dimensional derivatives in the physics-informed loss. Randomized Smoothing PINN (RS-PINN) introduces Gaussian noise for stochastic smoothing of the original neural net model, enabling Monte Carlo methods for derivative approximation, eliminating the need for costly auto-differentiation. Despite its computational efficiency in high dimensions, RS-PINN introduces biases in both loss and gradients, negatively impacting convergence, especially when coupled with stochastic gradient descent (SGD). We present a comprehensive analysis of biases in RS-PINN, attributing them to the nonlinearity of the Mean Squared Error (MSE) loss and the PDE nonlinearity. We propose tailored bias correction techniques based on the order of PDE nonlinearity. The unbiased RS-PINN allows for a detailed examination of its pros and cons compared to the biased version. Specifically, the biased version has a lower variance and runs faster than the unbiased version, but it is less accurate due to the bias. To optimize the bias-variance trade-off, we combine the two approaches in a hybrid method that balances the rapid convergence of the biased version with the high accuracy of the unbiased version. In addition, we present an enhanced implementation of RS-PINN. Extensive experiments on diverse high-dimensional PDEs, including Fokker-Planck, HJB, viscous Burgers', Allen-Cahn, and Sine-Gordon equations, illustrate the bias-variance trade-off and highlight the effectiveness of the hybrid RS-PINN. Empirical guidelines are provided for selecting biased, unbiased, or hybrid versions, depending on the dimensionality and nonlinearity of the specific PDE problem.

연구 동기 및 목표

• MSE 비선형성 및 PDE 비선형성에서 기인하는 RS-PINN의 편향 원천을 식별한다.
• 선형 및 비선형 PDE에 대해 확인된 편향을 교정하기 위한 편향 제거 전략을 개발한다.
• 수렴 속도와 정확도를 최적화하기 위해 편향-편향 아님 하이브리드 RS-PINN을 제안한다.
• 향상된 더 낮은 분산의 도함수 추정치를 통해 RS-PINN 구현을 확장한다.
• 문제 특성에 따라 편향, 편향 없음, 또는 하이브리드 RS-PINN을 선택하기 위한 실증적 지침을 제공한다.

제안 방법

• RS-PINN을 가우시안 잡음이 있는 스무딩된 신경망으로 모델링하고 도함수의 몬테카를로 추정치를 사용한다.
• 편향을 두 가지 원천으로 분해한다: MSE 손실의 비선형성과 PDE의 비선형성.
• Lb^(1)로 표기된 두 독립 가우시안 샘플을 사용하여 MC 추정치의 곱을 형성해 편향 제거를 수행한다; 편향 없음(무편향성)을 보임을 증명한다.
• 다중 가우시안 샘플을 사용하여 제곱 기울기 항을 편향 제거하여 비선형 PDE의 Lr를 제거한다(Lr^(2)); n개의 독립 샘플로 비선형도 차수에 일반화한다.
• 빠른 수렴을 위해 편향으로 시작하고 정확도를 위해 편향 없음으로 전환하는 하이브리드 스킴을 도입한다.
• 도함수에서 x- 노이즈와 t-노이즈를 분리하는 구현 개선으로 분산을 줄인다.

Figure 2: Anisotropic FP PDE: $10^{4}$ D convergence curves with respect to the epoch (left) and time (right). The hybrid version converges well by applying the biased version first; then, the unbiased version is used for finetuning and getting an even more stable final convergence result. Solely ap

실험 결과

연구 질문

• RQ1 고차원 PDE를 풀 때 RS-PINN의 주요 편향 원천은 무엇인가?
• RQ2 선형 PDE와 비선형 PDE에 대해 RS-PINN 손실 및 기울기를 어떻게 편향 제거할 수 있는가?
• RQ3 차원 및 비선형 차수에 따라 편향-편향 아님 하이브리드 RS-PINN이 순수하게 편향된 방식이나 순수하게 편향 없음 방식보다 성능이 어떤가?
• RQ4 차원수와 PDE 비선형성에 따라 RS-PINN 변형을 선택하기 위한 실용적 지침은 무엇인가?

주요 결과

• 편향 RS-PINN은 분산이 더 작고 에포크당 실행 시간이 더 빠르지만 편향으로 인해 정확도가 떨어질 수 있다.
• 편향 없음 RS-PINN은 편향을 제거하지만 분산이 더 크고 수렴 속도가 느려지며 특히 고차원에서 그렇다.
• MSE 비선형성에서의 편향은 독립 재샘플링(Lb^(1))으로 편향 제거 가능; PDE 비선형성은 편향 없는 기울도를 얻기 위해 추가 샘플링(Lg^(2))이 필요하다.
• 편향-편향 아님 RS-PINN은 편향으로 빠른 초기 수렴을 활용하고 정확도를 위해 편향 없음으로 추정으로 미세 조정한다.
• 고차원 Fokker-Planck, HJB, 점성 버거스’, Allen-Cahn, 및 Sine-Gordon 방정식에 대한 실험은 편향-분산 트레이드오프와 하이브리드 접근법의 효과를 보여준다.