[論文レビュー] Multilevel Dimension-Independent Likelihood-Informed MCMC for Large-Scale Inverse Problems

Tiangang Cui, Gianluca Detommaso+1 more|arXiv (Cornell University)|Oct 28, 2019

Model Reduction and Neural Networks参考文献 32被引用数 6

ひとこと要約

本稿では、大規模な逆問題におけるベイズ推論を高速化するため、尤度に基づく部分空間（LIS）と多重モンテカルロを統合した多次元・次元に依存しない尤度に基づくMCMC（ML-DILI）手法を提案する。尤度に基づく部分空間の再帰的構築と、前方解析のコレスキー因子の再利用により、LISの構築およびDILIプロポーザルの計算コストを著しく削減し、単一レベルのDILI-MCMCと比較して、CPU時間あたりの統合誤差が著しく低減され、サンプリング効率が向上する。

ABSTRACT

We present a non-trivial integration of dimension-independent likelihood-informed (DILI) MCMC (Cui, Law, Marzouk, 2016) and the multilevel MCMC (Dodwell et al., 2015) to explore the hierarchy of posterior distributions. This integration offers several advantages: First, DILI-MCMC employs an intrinsic likelihood-informed subspace (LIS) (Cui et al., 2014) -- which involves a number of forward and adjoint model simulations -- to design accelerated operator-weighted proposals. By exploiting the multilevel structure of the discretised parameters and discretised forward models, we design a Rayleigh-Ritz procedure to significantly reduce the computational effort in building the LIS and operating with DILI proposals. Second, the resulting DILI-MCMC can drastically improve the sampling efficiency of MCMC at each level, and hence reduce the integration error of the multilevel algorithm for fixed CPU time. Numerical results confirm the improved computational efficiency of the multilevel DILI approach.

研究の動機と目的

• 大規模な逆問題における高次元事後分布のサンプリングにかかる高い計算コストに対処すること。
• 多次元に依存しないMCMC手法を多重モンテカルロフレームワークと統合することで、その効率を向上させること。
• 高次元パrameter空間における尤度に基づく部分空間（LIS）の構築にかかる計算負荷を軽減すること。
• 階層的なモデルおよびパrameter離散化を活用して、効率的でスケーラブルかつ並列化可能なMCMCサンプリングを可能にすること。
• 前方モデルの解を再利用する再帰的LIS構築法を提案し、随伴問題の解法コストを最小限に抑えること。

提案手法

• 前方モデルおよびパrameterの多次元離散化において、再帰的に尤度に基づく部分空間（LIS）を構築するためのレイリー・リッツ法を提案する。
• 前方モデルのスパース直接解法から得られるコレスキー因子を再利用し、随伴モデルの作用を効率的に計算することで、重複する因子分解を回避する。
• LISの階層的構造を活用した連携されたDILIプロポーザルを設計し、異なるレベル間でのマルコフ連鎖の混合性を向上させ、相関を低減する。
• 連続するレベル間のマルコフ連鎖を結合する新しいプーリング戦略を導入し、MCMCシミュレーションの柔軟かつ効率的な並列化を可能にする。
• 多重モンテカルロにおけるテレスコピング和推定量を用いて、異なるレベルからの事後期待値を組み合わせ、全体の統合誤差を低減する。
• 行列を直接生成せずに大規模な固有値ソルバーを用いることで、LISの計算をスケーラブルに実行し、高次元問題への対応を可能にする。

実験結果

リサーチクエスチョン

• RQ1 再帰的LIS構築法は、多次元設定におけるDILI-MCMCの計算コストを低減できるか？
• RQ2 前方解析から得たコレスキー因子の再利用は、LIS構築および随伴作用の効率にどのような影響を与えるか？
• RQ3 単一レベルのDILI-MCMCと比較して、多次元DILI-MCMCはCPU時間あたりの統合誤差をどの程度低減できるか？
• RQ4 階層的LIS構造は、大規模な逆問題におけるより効率的でスケーラブルなMCMCサンプリングを可能にするか？
• RQ5 随伴問題の解法コストが高価な状況下で、再帰的LIS構築法は単一レベルLISに対してどの程度の性能向上をもたらすか？

主な発見

• コレスキー因子の再利用により、LISの構築にかかる計算コストが著しく低減され、MCMCシミュレーション時間に比べてLISのセットアップコストは無視できるほど小さくなる。
• コレスキー因子の再利用が可能な場合、ML-DILIはMLmixedとほぼ同一の性能を示し、LIS構築に起因するオーバーヘッドが最小限であることが示された。
• コレスキー再利用が不可能な状況では、再帰的LIS構築法により随伴問題の解法回数が大幅に削減され、顕著な計算負荷の軽減が達成された。
• 1.27×10⁻²を超える誤差許容範囲では、LIS構築コストを含めても、ML-DILIは単一レベルDILI-MCMCの4倍以上速い。
• 各レベルにおけるサンプリング効率の著しい向上により、CPU時間あたりの統合誤差が著しく低減され、多重モンテカルロ推定量の収束が早くなった。
• 提案されたプーリング戦略により、異なるレベル間でのMCMC連鎖の柔軟かつ効率的な並列化が可能となり、リソースの利用効率が向上した。