[論文レビュー] Learning and Meta-Learning of Stochastic Advection-Diffusion-Reaction Systems from Sparse Measurements

Xiaoli Chen, Jinqiao Duan+1 more|arXiv (Cornell University)|Oct 21, 2019

Model Reduction and Neural Networks参考文献 17被引用数 10

ひとこと要約

本論文は、スパースでノイズの多い測定値から確率的移流拡散反応（ADR）系の逆問題を解くために、マルチファシリティデータとベイズ最適化を組み合わせた物理情報付きニューラルネットワーク（sPINN）フレームワークを提案する。カルフーネン＝ローブ（KL）展開と任意多項式 chaos（aPC）展開を用いて確率的拡散率および解の場をモデル化し、メタラーニングされたハイパーパrameterをベイズ最適化で最適化することで、決定的パラメータでは1%未塔の誤差、確率的場では0.1%未塔の誤差を達成した。

ABSTRACT

Physics-informed neural networks (PINNs) were recently proposed in [1] as an alternative way to solve partial differential equations (PDEs). A neural network (NN) represents the solution while a PDE-induced NN is coupled to the solution NN, and all differential operators are treated using automatic differentiation. Here, we first employ the standard PINN and a stochastic version, sPINN, to solve forward and inverse problems governed by a nonlinear advection-diffusion-reaction (ADR) equation, assuming we have some sparse measurements of the concentration field at random or pre-selected locations. Subsequently, we attempt to optimize the hyper-parameters of sPINN by using the Bayesian optimization method (meta-learning), and compare the results with the empirically selected hyper-parameters of sPINN.

研究の動機と目的

• スパースでマルチファシリティな測定値（濃度および拡散率場）からの非線形確率的ADR系における逆問題に対処すること。
• スペクトル展開を用いて、決定的パラメータ（流速、反応定数）と確率的場（拡散率、濃度）を同時に学習する複合ニューラルネットワークアーキテクチャの開発。
• sPINNアーキテクチャのハイパーパrameterを自動的に最適化するベイズ最適化を用いることで、手動チューニングに代えて一般化性能と精度を向上させること。
• データスパarsityおよび変動するファシリティ条件下での、決定的および確率的逆問題におけるsPINNフレームワークの性能を評価すること。
• 複雑なPDEに基づく逆問題における物理情報付きニューラルネットワークと不確実性評価技術を組み合わせた手法の実現可能性とロバスト性を示すこと。

提案手法

• 非線形ADR方程式に従う前向きおよび逆問題を解くために、自動微分によるPDE制約の強制を伴う物理情報付きニューラルネットワーク（PINN）およびその確率的拡張（sPINN）を採用する。
• 高精度および低精度のデータを統合するための複合マルチファシリティニューラルネットワークを用い、データソース間の相関を学習することで、未知のパラメータおよび場の再構成を向上させる。
• 確率的拡散率場を表現するためにカルフーネン＝ローブ（KL）展開を、確率的解を表現するために任意多項式 chaos（aPC）展開を適用し、不確実性のモード分解を可能にする。
• KLおよびaPC展開の平均および各モードごとに別個のニューラルネットワークを訓練することで、物理的制約を保ちつつ確率的成分を並列に学習可能にする。
• sPINNの5つの主要ハイパーパラメータ（幅、深さ、学習率）の自動チューニングを実現するため、メタラーニング戦略としてベイズ最適化を実装し、手動チューニングに比べて性能向上を図る。
• 不確実性評価の収束性と正確性を保証するため、学習には2,000サンプル、基準解には10,000サンプルを用いた準モンテカルロ法を用いる。

実験結果

リサーチクエスチョン

• RQ1 マルチファシリティデータとスペクトル的確率的展開を用いたsPINNは、スパースな測定値から確率的拡散率および濃度場を正確に再構成できるか？
• RQ2 sPINNにおけるハイパーパラメータチューニングにおいて、ベイズ最適化は手動チューニングに比べて精度および収束性で優れているか？
• RQ3 複合マルチファシリティネットワークは、未知の決定的パラメータ（流速、反応定数）および確率的場の回復をどの程度向上できるか？
• RQ4 アーキテクチャ選択（深さ、幅、学習率）は、高次元で非線形な確率的PDEにおけるsPINNの精度にどのような影響を与えるか？
• RQ5 提案フレームワークは、最小限のデータで高精度な不確実性評価を実現しながら、物理的整合性を維持できるか？

主な発見

• ベイズ最適化されたハイパーパラメータを用いることで、sPINNフレームワークは3つの決定的パラメータ（移動速度および2つの反応定数）の回復において1%未塔の誤差を達成した。
• 確率的濃度および拡散率場の平均および分散は、3桁以上の精度で予測され、誤差が0.1%未塔であった。
• ベイズ最適化により、手動チューニングの構成よりもはるかに深い（深さ10）かつ広い（解のモードで幅113）最適なニューラルネットワークが特定され、精度が向上した。
• マルチファシリティデータの使用により、特に高精度データが限られる状況でも、解およびパラメータ場の一般化性能と再構成品質が向上した。
• 準モンテカルロ法は標準モンテカルロ法よりも収束が速く、10,000サンプルで信頼性の高い基準解が得られた。
• 本研究では、初めてメタラーニング（ベイズ最適化）を用いて、マルチフィジックス、マルチファシリティ、確率的PDEの逆問題に適した複合ニューラルネットワークのハイパーパラメータチューニングに成功した。