[論文レビュー] Adaptive particle-based approximations of the Gibbs posterior for inverse problems

Zilong Zou, Sayan Mukherjee+2 more|arXiv (Cornell University)|Jul 2, 2019

Probabilistic and Robust Engineering Design参考文献 35被引用数 4

ひとこと要約

本稿では、偏微分方程式（PDE）に制約を受ける逆問題におけるギブス事後分布を効率的に近似するため、局所的低次元基底（RB）補間を用いた適応的粒子ベースの逐次モンテカルロ（SMC）手法を提案する。尤度ではなく損失関数を用いることで、データ機構が不明な場合でも頑健な推論が可能となり、SMCの進行中に局所的に適応的かつ高精度なRB近似を用いることで、大幅な計算コスト削減を達成する。

ABSTRACT

In this work, we adopt a general framework based on the Gibbs posterior to update belief distributions for inverse problems governed by partial differential equations (PDEs). The Gibbs posterior formulation is a generalization of standard Bayesian inference that only relies on a loss function connecting the unknown parameters to the data. It is particularly useful when the true data generating mechanism (or noise distribution) is unknown or difficult to specify. The Gibbs posterior coincides with Bayesian updating when a true likelihood function is known and the loss function corresponds to the negative log-likelihood, yet provides subjective inference in more general settings. We employ a sequential Monte Carlo (SMC) approach to approximate the Gibbs posterior using particles. To manage the computational cost of propagating increasing numbers of particles through the loss function, we employ a recently developed local reduced basis method to build an efficient surrogate loss function that is used in the Gibbs update formula in place of the true loss. We derive error bounds for our approximation and propose an adaptive approach to construct the surrogate model in an efficient manner. We demonstrate the efficiency of our approach through several numerical examples.

研究の動機と目的

• 尤度評価が高コストとなるPDE制約付き逆問題におけるベイズ推論の高コストを解消すること。
• 事後分布に支えられる領域に焦点を当てることで、グローバルに高精度な補間モデルの非効率性を克服すること。
• 損失関数に依存する柔軟性を持つギブス事後分布と、効率的な粒子ベース推論を組み合わせたフレームワークの構築。
• 明示的な尤度の指定を避けることで、未知または複雑なノイズモデルを有する逆問題におけるスケーラブルな不確実性評価を可能にすること。
• 進化する事後分布のサポートに適合した、逐次的かつ適応的な局所的低次元基底モデルの構築により、計算効率を向上させること。

提案手法

• ギブス事後分布を逐次的に近似する重み付き粒子を進化させるため、逐次モンテカルロ（SMC）フレームワークを採用する。
• 尤度やノイズモデルが既知でなくてもよいように、損失関数（例：l2損失）を用いてギブス事後分布を定義する。
• 各SMCステップにおいて、粒子の位置に基づき、適応的に更新される局所的低次元基底（RB）補間モデルを損失関数に対して構築する。
• 誤差許容誤差を現在の損失値の標準偏差の5%に設定する、しきい値に基づくリファインメント戦略を用いて、局所的RBモデルを適応的に更新する。
• SMCの更新において、PDEに基づく損失評価の代わりに、局所的RB補間を用いることで、1粒子あたりのコストを著しく削減する。
• 理論的誤差バインディングを導出することで、SMCフレームワーク内でのRB近似の収束性と精度を保証する。

実験結果

リサーチクエスチョン

• RQ1 適応的局所的低次元基底モデルは、PDE制約付き逆問題におけるギブス事後分布の近似において、計算コストを顕著に削減できるか？
• RQ2 ノイズモデルが不明な逆問題において、提案手法のSMC-RB法は、標準的なMCMC法と比較して、精度と効率の両面で優れているか？
• RQ3 グローバル補間と比較して、事後分布のサポート上での局所的RBモデルの適応的リファインメントは、どの程度精度を向上させるか？
• RQ4 複雑な逆問題において、ノイズレベルやパラメータ次元数の変化に伴い、局所的RB原子の数はどのように変化するか？
• RQ5 提案手法は、MCMCベースの推論と一貫性を保ちつつ、1000倍以上の高速化を達成できるか？

主な発見

• 本手法は、グローバルな精度要件を回避し、事後分布に支えられる領域に限定して局所的RB補間を構築することで、計算コストの削減を実現した。
• 積層材質問題では、ノイズレベルが上昇するにつれて局所的RB原子の数が増え、事後分布の集中度が高まり、SMCパスの長さが延びたことを示した。
• 高次元インクルージョン問題では、積層材質問題と比較してより多くのRB原子を必要としたため、パラメータ次元数の増加に伴い計算コストが上昇することを示した。
• 事後分布の平均推定値はMCMC結果と一貫しており、不確実性評価（標準偏差）はデータノイズレベル（5%、10%、20%）が上昇するにつれて適切に増加した。
• 損失の標準偏差の5%というしきい値を用いた適応的RB戦略は、過学習を避けるとともに、高い精度を維持した。
• アドベクション拡散およびエラストグラフィーを含む、複数のPDEに基づく逆問題において、本手法は一貫性のある性能を示し、最先端のMCMC手法と同等の性能を発揮した。