[論文レビュー] Multi-variance replica exchange stochastic gradient MCMC for inverse and forward Bayesian physics-informed neural network

Guang Lin, Yating Wang+1 more|arXiv (Cornell University)|Jul 13, 2021

Model Reduction and Neural Networks参考文献 35被引用数 6

ひとこと要約

本稿では、マルチモodalな事後分布を有する逆問題および前方問題における効率的なサンプリングを可能にする、ベイジアン物理情報付きニューラルネットワーク（PINNs）向けの多分散リプリカ交換確率的勾配ラングジュー・ドゥリンミクス（m-reSGLD）手法を提案する。高温鎖では低精度のソルバを、低温鎖では高精度のソルバを用いることで、計算コストを低減しつつも、SGLD やバニラ型リプリカ交換手法よりも高い精度と高速な収束を達成する。

ABSTRACT

Physics-informed neural network (PINN) has been successfully applied in solving a variety of nonlinear non-convex forward and inverse problems. However, the training is challenging because of the non-convex loss functions and the multiple optima in the Bayesian inverse problem. In this work, we propose a multi-variance replica exchange stochastic gradient Langevin diffusion method to tackle the challenge of the multiple local optima in the optimization and the challenge of the multiple modal posterior distribution in the inverse problem. Replica exchange methods are capable of escaping from the local traps and accelerating the convergence. However, it may not be efficient to solve mathematical inversion problems by using the vanilla replica method directly since the method doubles the computational cost in evaluating the forward solvers (likelihood functions) in the two chains. To address this issue, we propose to make different assumptions on the energy function estimation and this facilities one to use solvers of different fidelities in the likelihood function evaluation. We give an unbiased estimate of the swapping rate and give an estimation of the discretization error of the scheme. To verify our idea, we design and solve four inverse problems which have multiple modes. The proposed method is also employed to train the Bayesian PINN to solve the forward and inverse problems; faster and more accurate convergence has been observed when compared to the stochastic gradient Langevin diffusion (SGLD) method and vanila replica exchange methods.

研究の動機と目的

• 物理情報付きニューラルネットワークを用いたベイジアン逆問題における複数の局所最適解やマルチモダリティ事後分布の課題に対処すること。
• 両鎖に同一の高精度ソルバを必要とする従来のリプリカ交換 MCMC 手法の高い計算コストを低減すること。
• 低温鎖に高精度ソルバ、高温鎖に低精度ソルバを用いることで、鎖間の異なるソルバの正確性を活用し、効率的なサンプリングを実現すること。
• 交換レートに対するバイアスのない推定器を保証し、詳細釣合の維持と正しいサンプリング分布の保持を図ること。
• 非凸的かつ非ガウス分布を示す複雑な事後分布を有する前方問題および逆問題において、優れた性能を示すこと。

提案手法

• 異なる温度を持つ2本の鎖を用いる多分散リプリカ交換確率的勾配ラングジュー・ドゥリンミクス（m-reSGLD）フレームワークを提案：低温鎖は局所的収束に、高温鎖はグローバル探索に寄与する。
• 多精度エネルギー推定戦略を導入：高温鎖では粗解像度のソルバを、低温鎖では細解像度のソルバを用いることで、計算コストを低減する。
• 鎖間の交換レートに対するバイアスのない推定器を設計し、詳細釣合を維持し、正しいサンプリング分布を保証する。
• m-reSGLD スキームの離散化誤差バウンドを提供し、理論的収束保証を確保する。
• 前方問題および逆問題の両方において、ベイジアン PINN 学習にこの手法を統合し、不確実性の定量化と頑健なパrameter推定を可能にする。
• ミニバッチを用いた確率的勾配近似を導入し、大規模データセットおよび複雑なモデルへのスケーラビリティを実現する。

実験結果

リサーチクエスチョン

• RQ1 高温鎖と低温鎖で異なるソルバの正確性を用いるリプリカ交換 MCMC 手法は、ベイジアン逆問題において、計算コストを低減しつつもサンプリングの正確性を維持できるか？
• RQ2 高温鎖に高精度ソルバを用いるのではなく低精度ソルバを用いることで、両鎖に高精度ソルバを用いる場合と比較して、事後分布サンプリングの収束速度と正確性にどのような影響を与えるか？
• RQ3 提案された m-reSGLD 手法は、物理情報付き学習に一般的に見られる非凸的・非ガウス分布のマルチモダリティ事後分布を効果的に探索できるか？
• RQ4 提案されたバイアスのない交換レート推定器は、事後分布サンプルのバイアスと分散にどのような影響を与えるか？
• RQ5 m-reSGLD は、前方問題および逆問題 PINN タスクにおいて、標準的な SGLD やバニラ型リプリカ交換 SGLD と比較して、性能および収束速度で優れているか？

主な発見

• 非線形逆問題において、m-reSGLD 手法はバーンイン後、相対誤差 0.0796 を達成した。これは低温 SGLD の 0.0991 や高温 SGLD の 0.1566 より顕著に低い値である。
• 相対誤差の分散は m-reSGLD で最小（8.962e-5）となり、両 SGLD 変種を上回り、収束の安定性が優れていることを示している。
• 逆パラメータ α の平均推定値は 0.668、分散は 0.0017 であり、真値 0.7 に近く、正確な事後分布推定を示している。
• 図 10 の信頼区間および解の予測から、複数のモードを持つ完全な事後分布を捉えていることが確認された。
• 空間領域全体における最大分散は 0.0737、平均は 0.0307 であり、予測解における信頼性の高い不確実性定量化を示している。
• m-reSGLD 手法は、SGLD やバニラ型リプリカ交換手法よりも収束が早く、誤差も低く抑えられており、前方問題および逆問題 PINN タスクにおける効率性と正確性を裏付けた。