[論文レビュー] Bias-Variance Trade-off in Physics-Informed Neural Networks with Randomized Smoothing for High-Dimensional PDEs

Zheyuan Hu, Zhouhao Yang+3 more|arXiv (Cornell University)|Nov 26, 2023

Model Reduction and Neural Networks被引用数 9

ひとこと要約

論文は高次元 PDE のためのランダム化平滑化 PINN (RS-PINN) のバイアスを分析し、デバイアス技法とハイブリッドな biased-unbiased アプローチを開発し、それらを複数の高次元 PDE で検証する。

ABSTRACT

While physics-informed neural networks (PINNs) have been proven effective for low-dimensional partial differential equations (PDEs), the computational cost remains a hurdle in high-dimensional scenarios. This is particularly pronounced when computing high-order and high-dimensional derivatives in the physics-informed loss. Randomized Smoothing PINN (RS-PINN) introduces Gaussian noise for stochastic smoothing of the original neural net model, enabling Monte Carlo methods for derivative approximation, eliminating the need for costly auto-differentiation. Despite its computational efficiency in high dimensions, RS-PINN introduces biases in both loss and gradients, negatively impacting convergence, especially when coupled with stochastic gradient descent (SGD). We present a comprehensive analysis of biases in RS-PINN, attributing them to the nonlinearity of the Mean Squared Error (MSE) loss and the PDE nonlinearity. We propose tailored bias correction techniques based on the order of PDE nonlinearity. The unbiased RS-PINN allows for a detailed examination of its pros and cons compared to the biased version. Specifically, the biased version has a lower variance and runs faster than the unbiased version, but it is less accurate due to the bias. To optimize the bias-variance trade-off, we combine the two approaches in a hybrid method that balances the rapid convergence of the biased version with the high accuracy of the unbiased version. In addition, we present an enhanced implementation of RS-PINN. Extensive experiments on diverse high-dimensional PDEs, including Fokker-Planck, HJB, viscous Burgers', Allen-Cahn, and Sine-Gordon equations, illustrate the bias-variance trade-off and highlight the effectiveness of the hybrid RS-PINN. Empirical guidelines are provided for selecting biased, unbiased, or hybrid versions, depending on the dimensionality and nonlinearity of the specific PDE problem.

研究の動機と目的

• MSEの非線形性とPDEの非線形性に起因するRS-PINNのバイアスの源を特定する。
• 線形および非線形PDEに対して特定されたバイアスを矯正するためのデバイアシング戦略を開発する。
• 収束速度と精度を最適化するための biased-unbiased RS-PINN のハイブリッドを提案する。
• 改善された低分散の微分推定を用いてRS-PINNの実装を拡張する。
• 問題特性に基づいてbiased、unbiased、またはhybrid RS-PINNを選択するための実証的ガイドラインを提供する。

提案手法

• RS-PINNをガウスノイズを伴う平滑化されたニューラルネットワークとしてモデル化し、導関数のモンテカルロ推定を用いる。
• バイアスを2つの源に分解する：MSE損失の非線形性とPDEの非線形性。
• Lbを2つの独立したガウスサンプルを用いてMC推定の積を形成することでデバイアス化する（Lb^(1)）; 非偏り性を証明する。
• 非線形PDEに対して、二乗勾配項を複数のガウスサンプルでデバイアス化してLr^(2)を得ることでデバイアス化する；n個の独立サンプルを用いて非線形次数へ一般化する。
• 高速な収束のために初期にバイアスを持つハイブリッド方式を導入し、精度のために無偏化へ切り替える。
• 導関数におけるx-およびt-ノイズを個別に扱う実装改善を提供し、分散を低減する。

Figure 2: Anisotropic FP PDE: $10^{4}$ D convergence curves with respect to the epoch (left) and time (right). The hybrid version converges well by applying the biased version first; then, the unbiased version is used for finetuning and getting an even more stable final convergence result. Solely ap

実験結果

リサーチクエスチョン

• RQ1 高次元PDEを解く際のRS-PINNの主なバイアスの源は何か？
• RQ2 線形PDEと非線形PDEに対してRS-PINNの損失と勾配をどのようにデバイアスできるか？
• RQ3 次元数と非線形性の次数を超えて、biased-unbiasedハイブリッドRS-PINNは純粋にバイアスあり/なしアプローチと比較してどのように性能は推移するか？
• RQ4 次元性とPDEの非線形性に基づいてRS-PINNのバリアントを選ぶために、どのような実践的ガイドラインが導出できるか？

主な発見

• バイアス付きのRS-PINNは分散が低く、1エポックあたりの実行時間が速いが、バイアスのせいで精度が低くなることがある。
• 無偏 RS-PINNはバイアスを排除するが、分散が高く収束が遅くなる、特に高次元で顕著。
• MSEの非線形性によるバイアスは独立再サンプリング（Lb^(1)）でデバイアス可能；PDEの非線形性には偏りのない勾配を得るために追加のサンプリング（Lg^(2)）が必要。
• ハイブリッドな biased-unbiased RS-PINN は、初期の速い収束をバイアスで活用し、精度のために無偏推定で微調整する。
• 高次元のFokker-Planck、HJB、粘性バーガーズ方程式、Allen-Cahn、Sine-Gordon方程式を用いた実験は、バイアス-分散のトレードオフとハイブリッド手法の有効性を示した。