[論文レビュー] On polynomial-time computation of high-dimensional posterior measures by Langevin-type algorithms

Richard Nickl, Sven Wang|arXiv (Cornell University)|Sep 11, 2020

Markov Chains and Monte Carlo Methods参考文献 70被引用数 9

ひとこと要約

本稿は、非線形で非対数凸なモデルにガウス過程事前分布を用いた高次元ベイズ推論において、ラングジュアン型MCMCアルゴリズムの多項式時間計算保証を確立する。局所的な幾何的仮定と良好な初期値を用いることで、後方平均およびMAP推定値が高確率で多項式時間で計算可能であることが示され、シュレーディンガー方程式の逆問題で検証されている。

ABSTRACT

The problem of generating random samples of high-dimensional posterior distributions is considered. The main results consist of non-asymptotic computational guarantees for Langevin-type MCMC algorithms which scale polynomially in key quantities such as the dimension of the model, the desired precision level, and the number of available statistical measurements. As a direct consequence, it is shown that posterior mean vectors as well as optimisation based maximum a posteriori (MAP) estimates are computable in polynomial time, with high probability under the distribution of the data. These results are complemented by statistical guarantees for recovery of the ground truth parameter generating the data. Our results are derived in a general high-dimensional non-linear regression setting (with Gaussian process priors) where posterior measures are not necessarily log-concave, employing a set of local `geometric' assumptions on the parameter space, and assuming that a good initialiser of the algorithm is available. The theory is applied to a representative non-linear example from PDEs involving a steady-state Schrödinger equation.

研究の動機と目的

• 非線形で非対数凸なモデルにおける高次元後方分布サンプリングの計算非効率性に対処すること。
• 高次元ベイズ推論におけるラングジュアン型MCMCアルゴリズムに対して、非漸近的で多項式時間の保証を提供すること。
• 幾何的および統計的条件下で、後方平均および最大事後確信度（MAP）推定値が多項式時間で計算可能であることを確立すること。
• 代表的な非線形PDE設定、すなわち定常状態のシュレーディンガー方程式の逆問題構造において、フレームワークを検証すること。
• ベイズ非パラメトリック理論とラングジュアンアルゴリズムの非漸近的解析を統合し、計算的および統計的整合性を保証すること。

提案手法

• 対数尤度ℓ_N(θ)とガウス過程事前分布π(θ)に比例する後方密度を標的とする拡散ベースMCMCアルゴリズムを採用する。
• 尤度関数の局所的曲率バインディングを導入し、非凸性および非対数凸性を制御するための代替尤度関数を構築する。
• 無限次元関数空間を有限次元計算で扱うために、ウェーブレットに基づくパラメータ空間の離散化を用いる。
• 経験的グラム行列の期待値からの逸脱を制御するため、経験過程理論とチェインジの議論を適用する。
• 高次元スケーリング下での集中を保証するため、二次形式の尾確率を制御するためにベルンシュタインの不等式を用いる。
• 良好な初期点が利用可能であると仮定し、パラメータ空間の幾何的仮定を用いて、多項式時間内でアルゴリズム収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 非対数凸尤度のもとで、ラングジュアン型MCMCアルゴリズムは高次元後方測度を多項式時間で計算可能か？
• RQ2 どのような幾何的および統計的条件下で、高次元非線形モデルにおける後方平均およびMAP推定値が効率的に計算可能か？
• RQ3 シュレーディンガー方程式のような非線形PDE逆問題において、ベイズ推論の多項式時間収束を達成可能か？
• RQ4 局所的曲率および尤度構造は、ラングジュアンアルゴリズムの混合時間および計算複雑性にどのように影響するか？
• RQ5 初期点の品質は、非凸後方標的における多項式時間収束を保証するために果たす役割は何か？

主な発見

• 良好な初期点が利用可能な場合、データ分布下で高確率に後方平均およびMAP推定値が多項式時間で計算可能である。
• 計算複雑性は次元D、精度水準ε、観測数Nに対して多項式的にスケーリングする。
• シュレーディンガー方程式の逆問題において、前方写像の局所的幾何的仮定とウェーブレットに基づく離散化のもとで、多項式時間収束が達成される。
• 分析により、経験的グラム行列の期待値からの逸脱が高確率で有界であることが示され、安定な後方近似が保証される。
• 証明はチェインジの議論とベルンシュタインの不等式に依拠し、経験過程の上限を制御する。尾確率はδ_N² = o(1/√N)の条件下でexp(−cNδ_N²)の速度で減少する。
• このフレームワークは、後方分布が対数凸でない場合でも、局所的曲率および初期化条件が満たされる限り、ガウス過程事前分布を用いた一般の非線形回帰モデルに適用可能である。