[論文レビュー] hIPPYlib: An Extensible Software Framework for Large-Scale Inverse Problems Governed by PDEs; Part I: Deterministic Inversion and Linearized Bayesian Inference

Umberto Villa, Noémi Petra+1 more|arXiv (Cornell University)|Sep 9, 2019

Gaussian Processes and Bayesian Inference参考文献 48被引用数 11

ひとこと要約

hIPPYlib は、低ランクヘッシアン近似とマトリクスフリーなニュートン・コレスキー法を活用することで、次元に依存しない計算コストを実現する、大規模な決定的および線形化された確率的逆問題（PDE で記述される）を扱うスケーラブルで拡張可能な Python フレームワークです。これにより、ヘッシアンの有効次元が低いことを利用し、無限次元の逆問題を効率的に解くことが可能となり、スケーラブルな MAP 評価、事後分散の近似、最小限の前方解法回数で実現可能なサンプリングが可能になります。

ABSTRACT

We present an extensible software framework, hIPPYlib, for solution of large-scale deterministic and Bayesian inverse problems governed by partial differential equations (PDEs) with infinite-dimensional parameter fields (which are high-dimensional after discretization). hIPPYlib overcomes the prohibitive nature of Bayesian inversion for this class of problems by implementing state-of-the-art scalable algorithms for PDE-based inverse problems that exploit the structure of the underlying operators, notably the Hessian of the log-posterior. The key property of the algorithms implemented in hIPPYlib is that the solution of the deterministic and linearized Bayesian inverse problem is computed at a cost, measured in linearized forward PDE solves, that is independent of the parameter dimension. The mean of the posterior is approximated by the MAP point, which is found by minimizing the negative log-posterior. This deterministic nonlinear least-squares optimization problem is solved with an inexact matrix-free Newton-CG method. The posterior covariance is approximated by the inverse of the Hessian of the negative log posterior evaluated at the MAP point. This Gaussian approximation is exact when the parameter-to-observable map is linear; otherwise, its logarithm agrees to two derivatives with the log-posterior at the MAP point, and thus it can serve as a proposal for Hessian-based MCMC methods. The construction of the posterior covariance is made tractable by invoking a low-rank approximation of the Hessian of the log-likelihood. Scalable tools for sample generation are also implemented. hIPPYlib makes all of these advanced algorithms easily accessible to domain scientists and provides an environment that expedites the development of new algorithms. hIPPYlib is also a teaching tool to educate researchers and practitioners who are new to inverse problems and the Bayesian inference framework.

研究の動機と目的

• 無限次元パラメータを伴う PDE に支配される大規模な逆問題における計算の非実行可能性に対処すること。
• 決定的および線形化されたベイズ的逆問題のための高度な数値アルゴリズムを統合した、スケーラブルで拡張可能なソフトウェアフレームワークを提供すること。
• 不正確なニュートン・コレスキー法や低ランクヘッシアン近似といった最新のアルゴリズムを、最適化や統計の深い専門知識がなくてもドメイン科学者に利用可能にする。
• ラプラス法を用いた事後平均および共分散の近似により、効率的な不確実性の定量化を実現すること。
• FEniCS を介した変分形式による前方問題の定義を可能にすることで、拡張性を高め、新しい逆問題設定の迅速なプロトタイピングを可能にすること。

提案手法

• PDE の変分離散化に FEniCS を、大規模な線形代数演算に PETSc を使用する。
• ヘッシアンに基づく探索方向を用いて、ヘッシアンを用いた負の対数事後確率を最小化することで、最大事後確率（MAP）点を計算する不正確なマトリクスフリーなニュートン・コレスキー法を採用する。
• 事後分散推定を可能にするために、MAP 点における対数尤度のヘッシアンに対して低ランク近似を適用する。
• 数値的安定性と効率性を向上させるために、平方根を必要としない低ランクヘッシアン近似法を実装する。
• ランダム化固有値ソルバーを用いて、ヘッシアンの主要固有モードを計算し、データに依存するパラメータの変動を捉える。
• ポイントワイズ分散の計算を伴う、効率的なランダム場の生成により、高次元ガウス事前分布および事後分布からのサンプリングを実現する。

実験結果

リサーチクエスチョン

• RQ1 無限次元パラメータを伴う大規模な PDE を基盤とする逆問題を、次元に依存するコストを負担せずに効率的に解く方法は何か？
• RQ2 低ランクヘッシアン近似を用いた高次元ベイズ的逆問題における事後分散の近似において、最も効果的な方法は何か？
• RQ3 マトリクスフリーなニュートン・コレスキー法は、無限次元の逆問題に効果的に適用可能であり、スケーラビリティを維持できるか？
• RQ4 PDE 約束付き逆問題の文脈において、高次元ガウス分布からのスケーラブルなサンプリングをどのように達成できるか？
• RQ5 モジュラーで拡張可能なソフトウェアフレームワークは、数値最適化の深い専門知識がなくても、逆問題分野における研究および教育をどれほど加速できるか？

主な発見

• 逆問題を解く計算コストは、パラメータ、状態、データの次元に依存せず、データに依存するモードの数にのみ依存する。
• MAP 点は、前方および随伴 PDE の線形化解をわずかにしか必要としない不正確なマトリクスフリーなニュートン・コレスキー法により、効率的に計算される。
• ヘッシアンの低ランク近似は、スペクトルの主要部分、特にデータに依存する部分を捉えており、数値実験では固有値が約 0.06 で切り捨てられている。
• 事後分散フィールドは正確に計算されており、特にデータによって情報が与えられた領域では、事前分布と比較して不確実性が顕著に低減している。
• フレームワークは、ポisson 方程式における係数の逆問題と、拡散・対流方程式における初期条件回復という2つのモデル問題において、スケーラブルなパフォーマンスを示した。
• hIPPYlib は大学院の授業およびワークショップで採用されており、逆問題分野における教育および迅速なアルゴリズム開発の実用性を示している。