[論文レビュー] Normalizing Constant Estimation with Gaussianized Bridge Sampling

He Jia, Uroš Seljak|arXiv (Cornell University)|Dec 12, 2019

Gaussian Processes and Bayesian Inference参考文献 22被引用数 6

ひとこと要約

本稿では、正規化フロー（NF）と最適ブリッジサンプリング（OBS）を組み合わせることで、ベイズ推論における正規化定数の推定に新たな手法であるガウス化ブリッジサンプリング（GBS）を提案する。事後分布のMCMCサンプルを用い、新規の反復的ニューラル変換（INT）NFを用いてガウス化された密度推定器を学習し、その後OBSを適用することで、高い精度と低い計算コストで正規化定数を推定する。この手法は、ネストドサンプリング（NS）やアニーリング重要度サンプリング（AIS）を上回るスピードと精度を実現するとともに、信頼性の高い誤差推定を提供する。

ABSTRACT

Normalizing constant (also called partition function, Bayesian evidence, or marginal likelihood) is one of the central goals of Bayesian inference, yet most of the existing methods are both expensive and inaccurate. Here we develop a new approach, starting from posterior samples obtained with a standard Markov Chain Monte Carlo (MCMC). We apply a novel Normalizing Flow (NF) approach to obtain an analytic density estimator from these samples, followed by Optimal Bridge Sampling (OBS) to obtain the normalizing constant. We compare our method which we call Gaussianized Bridge Sampling (GBS) to existing methods such as Nested Sampling (NS) and Annealed Importance Sampling (AIS) on several examples, showing our method is both significantly faster and substantially more accurate than these methods, and comes with a reliable error estimation.

研究の動機と目的

• ベイズ推論における正規化定数推定の正確性と効率性を高えるという長年の課題に取り組む。
• ネストドサンプリングやアニーリング重要度サンプリングといった既存手法と比較して、計算コストを低減し、精度を向上させる。
• 標準的なMCMCサンプルを活用して、追加の尤度評価を最小限に抑えた正規化定数推定手法を開発する。
• 計算された正規化定数に対する信頼性の高い誤差推定フレームワークを提供する。
• 特別なチューニングなしで、標準的なCPUプラットフォームでも実用的かつスケーラブルな正規化定数推定を可能にする。

提案手法

• 本手法は、事後分布のMCMCサンプルを入力として、正規化フロー（具体的には新規の反復的ニューラル変換、INT）を用いて事後密度を解析的にモデル化する。
• 学習されたNFは事後分布を標準正規分布にマッピングし、正規化定数が既知のZ_q = 1である正規化された提案密度q(x)を生成する。
• 最適ブリッジサンプリング（OBS）を、事後分布p(x)とNFから得られるq(x)を用いて適用し、E_q[α(x)p(x)] = Z_p / Z_q * E_p[α(x)q(x)]という恒等式を活用してZ_pを推定する。
• 相対二乗誤差を最小化する最適なブリッジ関数α(x)は、推定誤差の相対的平均二乗誤差を最小化するスコア方程式S(r) = 0を解くことで導出される。
• 誤差寄与度の閾値（f_err = 0.1）と評価分率の上限（f_eva = 0.1）に基づき、q(x)（NF提案）にp(x)よりも多くのサンプルを割り当てる適応的サンプリング戦略が採用される。
• 誤差推定式において、MCMCサンプルの自己相関は統合自己相関時間（τ_f2）を用いて扱われる。

実験結果

リサーチクエスチョン

• RQ1 正規化フローを用いた密度推定器を最適ブリッジサンプリングと組み合わせることで、正規化定数推定の精度が向上するか？
• RQ2 高次元問題において、GBSの計算コストと精度はネストドサンプリングやアニーリング重要度サンプリングと比べてどうか？
• RQ3 標準的なMCMCサンプリングに加えて最小限の追加尤度評価で、信頼性の高い誤差推定が得られるか？
• RQ4 p(x)とq(x)間でのサンプルの適応的割り当てが、正規化定数推定の効率性を顕著に向上させるか？
• RQ5 提案手法は、特別なチューニングなしで標準的なCPUプラットフォームでも効率的に実装可能か？

主な発見

• GBSはベンチマーク問題において、ネストドサンプリングやアニーリング重要度サンプリングよりも顕著に高い精度を達成し、相対二乗誤差が桁違いに低減された。
• GBSはネストドサンプリングやAISよりも著しく高速であり、NUTSチェーン数と反復回数を半分にした場合でも、合計計算コストが4倍も削減された。
• GBSは、サンプリングプロセスの分散と自己相関構造をモデル化することで信頼性の高い誤差推定を提供し、誤差境界は正規分布に従う不確実性を仮定している。
• 適応的サンプリング戦略により、事後分布サンプリングに比べて、証拠推定の追加コストが小さく抑えられ、f_err = 0.1およびf_eva = 0.1がデフォルトの閾値として用いられている。
• 新規の反復的ニューラル変換（INT）NFの使用により、標準的な正規化フローに比べて高いトレーニングコストが発生せず、全体のパイプラインが効率的である。
• WBSおよびGISにおいて、GBS(L)と同一のn_q値が使用されており、関連する手法間で一貫した性能を示している。