[論文レビュー] Bayesian Posterior Perturbation Analysis with Integral Probability Metrics

Alfredo Garbuno-Iñigo, Tapio Helin+2 more|arXiv (Cornell University)|Mar 2, 2023

Gaussian Processes and Bayesian Inference被引用数 4

ひとこと要約

本稿は、非線形かつ局所リプシッツ連続な尤度関数に対して、積分確率距離（IPM）を用いて尤度関数ポテンシャルおよび事前分布の摂動に対するベイズ後測度の安定性を分析する新規フレームワークを導入する。特に、絶対連続性を要件としない従来の距離（全変動距離やヘルンガー距離）に起因する制限を克服し、深層ニューラルネットワークの代理関数およびデータ駆動型事前分布を用いた後測度近似の収束速度を確立する。

ABSTRACT

In recent years, Bayesian inference in large-scale inverse problems found in science, engineering and machine learning has gained significant attention. This paper examines the robustness of the Bayesian approach by analyzing the stability of posterior measures in relation to perturbations in the likelihood potential and the prior measure. We present new stability results using a family of integral probability metrics (divergences) akin to dual problems that arise in optimal transport. Our results stand out from previous works in three directions: (1) We construct new families of integral probability metrics that are adapted to the problem at hand; (2) These new metrics allow us to study both likelihood and prior perturbations in a convenient way; and (3) our analysis accommodates likelihood potentials that are only locally Lipschitz, making them applicable to a wide range of nonlinear inverse problems. Our theoretical findings are further reinforced through specific and novel examples where the approximation rates of posterior measures are obtained for different types of perturbations and provide a path towards the convergence analysis of recently adapted machine learning techniques for Bayesian inverse problems such as data-driven priors and neural network surrogates.

研究の動機と目的

• 特に非同等または特異的（singular）な事前分布設定下において、事前分布の摂動に対するベイズ後測度の安定性解析が不十分であるという問題に対処すること。
• 絶対連続性を要件としないが、尤度関数および事前分布の両方の摂動を扱える、積分確率距離（IPM）を用いた柔軟なフレームワークを構築すること。
• 高次元または関数型のベイズ逆問題において、深層ニューラルネットワークの代理関数やデータ駆動型事前分布といった現代の機械学習手法への収束解析を拡張すること。
• 非線形逆問題で一般的に見られる局所リプシッツ連続な尤度ポテンシャルに対して、後測度近似レートの理論的保証を提供すること。
• 全変動距離やヘルンガー距離といった従来の距離が、事前分布が摂動によって特異的（singular）になる場合に失敗するという制限を克服すること。

提案手法

• 著者らは、問題構造に適合したIPMの族を定義し、最適輸送に由来する双対表現を用いて後測度の乖離を測定する。
• 仮定1に基づく一般化された安定性フレームワークを導入し、真の尤度ポテンシャルと摂動後の尤度ポテンシャルの差を基準関数 h(u;y) と距離関数 c によって制限する。
• 尤度ポテンシャルの解析接続性（holomorphic extension）の性質を活用し、深層ニューラルネットワーク近似における指数的収束速度を導出する。
• 定理3.2を適用して、真の後測度 ν と近似後測度 ν^N 間のIPMを、尤度ポテンシャルの近似誤差の項で上界で抑え込む。
• 絶対連続性を要件としないIPM（例：ワルシャワ距離）を用いることで、非同等な事前分布に対しても対応可能となる。
• ReLUを用いた深層ニューラルネットワークが解析的尤度関数を近似する具体的な例を通じて検証し、ネットワークサイズに関して指数的収束速度を示した。

実験結果

リサーチクエスチョン

• RQ1 尤度ポテンシャルが局所リプシッツ連続または滑らかでない場合に、尤度ポテンシャルの摂動下でのベイズ後測度の収束速度を確立できるか？
• RQ2 データ駆動型またはプッシュフォワード事前分布のような状況で、事前分布とその摂動が互いに特異的（mutually singular）である場合に、後測度の安定性をどのように分析できるか？
• RQ3 真の尤度関数が解析的（holomorphic）である場合に、ベイズ逆問題における尤度関数の深層ニューラルネットワーク代理関数への収束解析を拡張できるか？
• RQ4 絶対連続性を要件としないIPMに基づく距離（例：ワルシャワ距離）は、摂動事前分布が元の事前分布に対して絶対連続でなくても、後測度の安定性解析を可能にするか？
• RQ5 現代の機械学習応用において、尤度関数と事前分布の両方が近似されている状況下で、ベイズ推論のロバストネスをどのように定量化できるか？

主な発見

• 本稿では、深層ニューラルネットワークによる解析的尤度ポテンシャルの近似に対して、収束速度が $ \mathcal{D}(\nu, \nu^N; c) \leq C\|c(\cdot,0)\|_{L^1(\mu)} \exp\left(-\kappa M^{\frac{1}{d+1}}\right) $ の形で指数的であることを確立した。ここで $ M $ はネットワークサイズを表す。
• 本フレームワークは、事前分布とその摂動が互いに特異的であっても、データ駆動型事前分布やプッシュフォワード事前分布の安定性解析を可能にする。これは、全変動距離やヘルンガー距離ではカバーできない領域である。
• ワルシャワ距離などのIPMの使用により、摂動事前分布が元の事前分布に対して絶対連続でなくても、後測度の摂動解析がロバストに可能となる。
• 本手法は、局所リプシッツ連続な尤度ポテンシャルに対しても適用可能であり、非線形かつ滑らかでない逆問題への応用範囲を広げる。
• 本稿では、ReLU DNNが解析的尤度関数をネットワークサイズに関して指数的精度で近似できることを示す新規な例を提示し、これに伴う後測度の収束速度を導出している。
• 本フレームワークは、ベイズ逆問題におけるニューラルネットワーク代理関数やデータ駆動型事前分布といった高度な機械学習手法の収束解析への道筋を提供する。