[論文レビュー] Generalized Bayesian Likelihood-Free Inference Using Scoring Rules Estimators

Lorenzo Pacchiardi, Ritabrata Dutta|arXiv (Cornell University)|Apr 8, 2021

Statistical Methods and Inference参考文献 55被引用数 9

ひとこと要約

この論文は、スコアリングルール推定器を用いた一般化されたベイジアン尤度フリー推論フレームワークを導入し、厳密に適切なスコアリングルールを活用して事後分布の一致性と外れ値に対するロバスト性を保証する。核およびエネルギースコアの整合性のある推定器を用いた擬似周辺MCMCを採用することで、有限標本における事後分布の一致性を達成し、ベイジアン合成尤度のような既存の手法を特別なケースとして統合する。

ABSTRACT

We propose a framework for Bayesian Likelihood-Free Inference (LFI) based on Generalized Bayesian Inference using scoring rules (SRs). SRs are used to evaluate probabilistic models given an observation; a proper SR is minimised in expectation when the model corresponds to the data generating process for the observations. Using a strictly proper SR, for which the above minimum is unique, ensures posterior consistency of our method. Further, we prove finite sample posterior consistency and outlier robustness of our posterior for the Kernel and Energy Scores. As the likelihood function is intractable for LFI, we employ consistent estimators of SRs using model simulations in a pseudo-marginal MCMC; we show the target of such chain converges to the exact SR posterior by increasing the number of simulations. Furthermore, we note popular LFI techniques such as Bayesian Synthetic Likelihood (BSL) can be seen as special cases of our framework using only proper (but not strictly so) SR. We empirically validate our consistency and outlier robustness results and show how related approaches do not enjoy these properties. Practically, we use the Energy and Kernel Scores, but our general framework sets the stage for extensions with other scoring rules.

研究の動機と目的

• 尤度の明示的計算を必要としない、ベイジアン尤度フリー推論の一般化されたフレームワークの構築を目的とする。
• 計算不能な尤度の下で、事後分布の一致性と外れ値に対するロバスト性を保証することを目的とする。
• ベイジアン合成尤度のような既存の尤度フリー手法を、スコアリングルールフレームワークに統合・一般化することを目的とする。
• 核およびエネルギースコアのような特定のスコアリングルールに対して、有限標本における事後分布の一致性とロバスト性といった理論的保証を確立することを目的とする。
• モデルのシミュレーションを用いたスコアリングルールの整合性のある推定器を擬似周辺MCMC枠組みに組み込むことで、実用的な推論を可能とすることを目的とする。

提案手法

• 確率的モデルの評価に厳密に適切なスコアリングルール（SRs）を基盤として用い、真のデータ生成モデルが期待スコアを最小化することを保証する。
• 核スコアおよびエネルギースコアを、厳密に適切なスコアリングルールの具体的な例として採用し、一般化されたベイジアン更新則を用いて事後分布を定義する。
• スコアリングルールの不確実な期待値を近似するために、モデルのシミュレーションからのモンテカルロ推定を用いた擬似周辺MCMCを適用する。
• シミュレーション回数が増加するにつれて、MCMCチェインの目標分布が正確なSR事後分布に収束することを示す。
• 核およびエネルギースコアに対して、事後分布の一致性と外れ値に対するロバスト性が保証される理論的条件を確立する。
• ベイジアン合成尤度を、適切ではあるが厳密に適切ではないスコアリングルールを用いる特別なケースとして再解釈する。

実験結果

リサーチクエスチョン

• RQ1 スコアリングルールを用いた一般化されたベイジアン尤度フリー推論フレームワークを構築可能か。その際、事後分布の一致性とロバスト性が保証されるか。
• RQ2 このフレームワーク内において、核およびエネルギースコアは有限標本における事後分布の一致性と外れ値に対するロバスト性をどの程度達成するか。
• RQ3 ベイジアン合成尤度のような既存の尤度フリー手法が、この包括的なスコアリングルールベースのフレームワークにどの程度統合可能か。
• RQ4 このフレームワーク下で、事後分布の収束性とロバスト性に関する理論的保証をどの程度得られるか。
• RQ5 擬似周辺MCMCにおけるスコアリングルールの整合性のある推定器の使用が、真の事後分布への収束にどのように影響するか。

主な発見

• 核およびエネルギースコアに対して、ややいびつな正則性条件のもとで、提案されたフレームワークは事後分布の一貫性を保証する。
• この手法は有限標本における事後分布の一貫性を示しており、データ点数が増加するにつれて、事後分布が真のパラメータ値の周囲に集中することを示す。
• 核およびエネルギースコアに対して、外れ値に対するロバスト性が形式的に確立され、多くの既存の尤度フリー手法とは異なり、その性質を有する。
• ベイジアン合成尤度が、適切ではあるが厳密に適切ではないスコアリングルールを用いるフレームワークの特別なケースであることが示された。
• 擬似周辺MCMCアルゴリズムは、反復ごとのシミュレーション回数が増加するにつれて、正確なSR事後分布に収束する。
• 実証的検証により、厳密に適切でない性質を有する関連手法は、同等の一貫性やロバスト性の性質を達成しないことが確認された。