[論文レビュー] An adaptive surrogate modeling based on deep neural networks for large-scale Bayesian inverse problems

Liang Yan, Tao Tang|arXiv (Cornell University)|Nov 20, 2019

Probabilistic and Robust Engineering Design参考文献 37被引用数 10

ひとこと要約

本稿では、大規模なベイズ逆問題における適応的で多忠実度の深層ニューラルネットワーク（DNN）代理モデルを提案する。事前分布に基づくDNNを、少数の高忠実度シミュレーションを用いてオンラインで段階的に精錬することで、計算コストを著しく削減しつつ高い精度を維持する。以前の代理モデルを新たな浅いDNNの入力として扱うことで、最小限の高忠実度評価で正確な事後分布推定を達成する。

ABSTRACT

In Bayesian inverse problems, surrogate models are often constructed to speed up the computational procedure, as the parameter-to-data map can be very expensive to evaluate. However, due to the curse of dimensionality and the nonlinear concentration of the posterior, traditional surrogate approaches (such us the polynomial-based surrogates) are still not feasible for large scale problems. To this end, we present in this work an adaptive multi-fidelity surrogate modeling framework based on deep neural networks (DNNs), motivated by the facts that the DNNs can potentially handle functions with limited regularity and are powerful tools for high dimensional approximations. More precisely, we first construct offline a DNNs-based surrogate according to the prior distribution, and then, this prior-based DNN-surrogate will be adaptively \& locally refined online using only a few high-fidelity simulations. In particular, in the refine procedure, we construct a new shallow neural network that view the previous constructed surrogate as an input variable -- yielding a composite multi-fidelity neural network approach. This makes the online computational procedure rather efficient. Numerical examples are presented to confirm that the proposed approach can obtain accurate posterior information with a limited number of forward simulations.

研究の動機と目的

• 高価なフォワードモデルによる大規模なベイズ逆問題における高い計算コストの課題に対処すること。
• 低正則性および高次元問題において、従来の多項式クラウド展開（PCEs）の限界を克服すること。
• 事前分布の全サポートではなく、事後分布の集中領域に焦点を当てた、適応的かつ局所的に精錬された代理モデルの開発。
• 多忠実度DNN精錬を用いて、高忠実度モデル評価回数を最小限に抑え、オンライン推論を効率化すること。
• 限られた計算リソースにおける複雑な逆問題における代理モデル構築のスケーラブルでデータ効率の良いフレームワークの提供。

提案手法

• 100サンプルの事前分布に基づくトレーニングセットを用いて、オフラインでフォワードモデルを近似する初期DNN代理モデルを構築する。
• オンライン精錬中に、事前分布DNNの出力を新たな浅いDNNの入力として入力する多忠実度DNNアーキテクチャを採用する。
• 局所的な精度を保証するために、事後分布の可能性の高い領域に50個の新しい高忠実度サンプルを適応的に選択し、補正ネットワークを訓練する。
• 過学習を防ぐために、λ = 10⁻⁶を用いてチホノフ正則化を適用し、補正DNNのトレーニングを安定化させる。
• 低忠実度DNNの予測と高忠実度補正を段階的に組み合わせることで、合成モデルを形成し、代理モデルを反復的に精錬する。
• 精錬された代理モデルをMCMCサンプリングに適用し、計算コストを削減しつつ、事後期待値を計算する。

実験結果

リサーチクエスチョン

• RQ1 DNNベースの代理モデルは、高次元のベイズ逆問題において、限られた高忠実度評価回数で正確な事後分布近似を達成できるか？
• RQ2 多忠実度DNN精錬戦略は、グローバルな事前分布に基づくDNN代理モデルに比べ、精度と効率の面で優れているか？
• RQ3 代理モデルの適応的かつ局所的な精錬は、信頼性のある推論に必要な高忠実度シミュレーション回数を削減できるか？
• RQ4 直接MCMCと比較して、提案手法は計算コストと事後分布の精度の面で優れているか？
• RQ5 合成DNNアーキテクチャは、低正則性および高次元のフォワードモデルに対して、ロバストであるか？

主な発見

• 適応的DNN代理モデル（ADNN）は、わずか950回の高忠実度評価で、直接MCMCとほぼ区別できない事後分布の平均および標準偏差推定を達成した。
• ADNN手法では、合計計算時間を115.7秒にまで削減した。一方、直接MCMCは50,000回の高忠実度評価を要し、5507.5秒を要した。
• 100件のトレーニングポイントを用いた事前分布DNNは、不良な事後分布推定を生じさせた。これは、適応的精錬の必要性を強調している。
• ADNN代理モデルのオンライン評価にはたった88.9秒で完了した。これは、適応的精錬にもかかわらず、極めて高い効率性を示している。
• 本手法は、極めて少ない高忠実度評価で高い精度を維持し、直接MCMCと比較して必要なシミュレーション回数を98％以上削減した。
• 合成多忠実度DNN構造は、事後分布の集中領域を効果的に捉え、精度と計算コストの両面でグローバルな代理モデル手法を上回った。