[論文レビュー] A fast and scalable computational framework for large-scale and high-dimensional Bayesian optimal experimental design

Keyi Wu, Peng Chen+1 more|arXiv (Cornell University)|Oct 28, 2020

Gaussian Processes and Bayesian Inference参考文献 40被引用数 16

ひとこと要約

本稿では、ヘッセ行列の低ランク構造を活用し、PDEの解法回数を削減するための、大規模かつ高次元のベイジアン最適実験設計（OED）の高速でスケーラブルな計算フレームワークを提示する。センサ配置には、オンラインPDE評価を最小限に抑えつつ、近似的に最適な情報量の増加を達成するスワップ・グリーディー・アルゴリズムを採用し、パラメータ数やセンサ数が数万単位にまでスケーリング可能であることを示している。

ABSTRACT

We develop a fast and scalable computational framework to solve large-scale and high-dimensional Bayesian optimal experimental design problems. In particular, we consider the problem of optimal observation sensor placement for Bayesian inference of high-dimensional parameters governed by partial differential equations (PDEs), which is formulated as an optimization problem that seeks to maximize an expected information gain (EIG). Such optimization problems are particularly challenging due to the curse of dimensionality for high-dimensional parameters and the expensive solution of large-scale PDEs. To address these challenges, we exploit two essential properties of such problems: the low-rank structure of the Jacobian of the parameter-to-observable map to extract the intrinsically low-dimensional data-informed subspace, and the high correlation of the approximate EIGs by a series of approximations to reduce the number of PDE solves. We propose an efficient offline-online decomposition for the optimization problem: an offline stage of computing all the quantities that require a limited number of PDE solves independent of parameter and data dimensions, and an online stage of optimizing sensor placement that does not require any PDE solve. For the online optimization, we propose a swapping greedy algorithm that first construct an initial set of sensors using leverage scores and then swap the chosen sensors with other candidates until certain convergence criteria are met. We demonstrate the efficiency and scalability of the proposed computational framework by a linear inverse problem of inferring the initial condition for an advection-diffusion equation, and a nonlinear inverse problem of inferring the diffusion coefficient of a log-normal diffusion equation, with both the parameter and data dimensions ranging from a few tens to a few thousands.

研究の動機と目的

• PDEに支配される高次元ベイジアン最適実験設計（OED）における計算的課題に対処すること。
• 期待情報量（EIG）評価における大規模PDEの解法と高次元積分の prohibitively 高いコストを克服すること。
• パラメータおよびデータ次元に依存しない固定のオフラインコストでPDE解法回数を削減するスケーラブルな手法を開発すること。
• PDE解法を伴わないオンライン最適化を用いた、高次元設計空間における効率的なセンサ配置を実現すること。
• 線形および非線形逆問題において、パラメータおよびデータ次元が数万に達する状況でも、有効性とスケーラビリティを示すこと。

提案手法

• パラメータから観測値への写像のヤコビアンにおける低ランク構造を活用し、データに依存する内在的低次元部分空間を同定する。
• 事後分布のラプラス近似を適用し、EIG計算を簡略化することで、事前分布上の単一積分に二重積分を縮小する。
• オフライン・オンライン分解を採用：PDE依存量を限定的な解法回数でオフライン段階で事前に計算する。
• リーマンスコアに基づく初期化から開始し、反復的にセンサ選択を改善するスワップ・グリーディー法を用いてオンライン最適化を実行する。
• 近似的EIG同士の高い相関性を活用し、オフライン段階におけるPDE解法回数を削減する。
• 事前前提付き作用素を用いて誤差関数のヘッセ行列を近似し、その高速な固有値の減衰を活用して低ランク近似を実現する。

実験結果

リサーチクエスチョン

• RQ1 高次元ベイジアンOEDにおけるEIG評価に必要なPDE解法回数を顕著に削減できるか？
• RQ2 ヘッセ行列およびパラメータから観測値への写像における低ランク構造をどのように活用し、スケーラブルな計算を可能にするか？
• RQ3 スワップ・グリーディー法は、高次元OEDにおけるセンサ配置において、標準的グリーディー法を上回る性能を示せるか？
• RQ4 パラメータおよびデータ次元の増加に対して、このフレームワークはどの程度スケーラブルか？
• RQ5 実用的な逆問題において、ラプラス近似によるEIGの近似値は真のEIGにどの程度近いか？

主な発見

• 提案フレームワークにより、パラメータおよびデータ次元に依存しない固定で小さな数のPDE解法回数に、オフライン段階で削減された。
• スワップ・グリーディー法は一貫して最適または近似的に最適なセンサ配置を特定する：r=2,3,5,8の全ケースで最高または2番目に高いEIGを達成し、r=4,6,7では近似的に最適な性能を示した。
• 9個の候補センサに対して、両方のグリーディー法が200個のランダム設計を上回り、スワップ・グリーディー法が8つのケースのうち7つで標準的グリーディー法を同等以上に上回った。
• 81個の候補センサに対しては、スワップ・グリーディー法がランダム選択よりも著しく優れた設計を選択し、一貫して標準的グリーディー法を上回った。
• パラメータおよびデータ次元の増加に対しても、ヘッセ行列の固有値の減衰特性が一貫しており、パラメータ次元に対して強いスケーラビリティ、データ次元に対しては弱いスケーラビリティを確認した。
• ラプラス近似によるEIGは、センサ選択を指針とするのに十分な精度を持ち、近似により選ばれた設計はしばしば真の最適または近似的に最適な設計と一致した。