[論文レビュー] Bayesian Learning of Conditional Kernel Mean Embeddings for Automatic Likelihood-Free Inference

Kelvin Hsu, Fábio Ramos|arXiv (Cornell University)|Mar 3, 2019

Machine Learning and Algorithms被引用数 4

ひとこと要約

本稿では、条件付きカーネル平均埋め込みを用いて、近似ベイズ推論（ABC）のためのハイパーパrameterを自動で学習する、ベイズフレームワークであるカーネル埋め込み尤度フリー推論（KELFI）を提案する。再生ヒルバート空間（RKHS）において非パラメトリックに尤度と事後分布を近似することで、KELFIは閉形式の事後分布平均埋め込みサンプリングを可能にし、特に困難な生態学的モデルにおいて、限られたシミュレーション予算下でも推論の正確性と効率性を向上させる。

ABSTRACT

In likelihood-free settings where likelihood evaluations are intractable, approximate Bayesian computation (ABC) addresses the formidable inference task to discover plausible parameters of simulation programs that explain the observations. However, they demand large quantities of simulation calls. Critically, hyperparameters that determine measures of simulation discrepancy crucially balance inference accuracy and sample efficiency, yet are difficult to tune. In this paper, we present kernel embedding likelihood-free inference (KELFI), a holistic framework that automatically learns model hyperparameters to improve inference accuracy given limited simulation budget. By leveraging likelihood smoothness with conditional mean embeddings, we nonparametrically approximate likelihoods and posteriors as surrogate densities and sample from closed-form posterior mean embeddings, whose hyperparameters are learned under its approximate marginal likelihood. Our modular framework demonstrates improved accuracy and efficiency on challenging inference problems in ecology.

研究の動機と目的

• 尤度フリー推論におけるハイパーパrameterの感度問題、特に生態学などシミュレーションが重い分野での挑戦に応えること。
• ABCにおける差違閾値（例：ε）の手動チューニングに依存することを減らし、それらを自動で学習すること。
• 限られた数のシミュレータ呼び出しでのみ、正確な事後分布の近似とサンプリングを可能にすること。
• 推論とシミュレーション呼び出しを分離するモジュラーで非パラメトリックなフレームワークを提供すること。
• 要約統計量の関連性を推論パイプラインで自動的に評価できるように、手法を拡張すること。

提案手法

• KELFIは、再生ヒルバート空間（RKHS）における条件付き平均埋め込み（CME）を用い、シミュレータ出力から尤度関数を非パラメトリックに近似する。
• CME近似から得られる閉形式の事後分布平均埋め込みを用いて、事後分布をサーヴィェイド密度としてモデル化する。
• ハイパーパrameter（ABCの許容誤差εを含む）は、ベイズ学習目的に基づく周辺尤度最大化により学習される。
• カーネルに基づく特徴選択を用いて、要約統計量の自動関連性学習をサポートする。
• 正規化フロー変換により一般の事前分布を標準正規事前分布に変換し、ガウスカーネル下で閉形式解を得られるようにする。
• 本手法は、任意の回数のシミュレーション後でも事後分布推論とサンプリングを可能にし、推論とシミュレーション呼び出しを分離する。

実験結果

リサーチクエスチョン

• RQ1 ABCにおけるハイパーパrameterを手動チューニングなしに自動で学習することで、推論の正確性を向上させることができるか？
• RQ2 条件付きカーネル平均埋め込みは、尤度フリー推論における不確実な尤度の正確で非パラメトリックなサーヴィェイドを提供できるか？
• RQ3 周辺尤度によるハイパーパrameter学習が、限られたシミュレーション予算下でも事後分布近似を改善するか？
• RQ4 本フレームワークは、最も情報量の多い要約統計量を自動で特定・重み付けできるか？
• RQ5 複雑な生態学的モデルにおいて、KELFIの性能は標準ABC手法と比べて正確性とサンプル効率の点で優れているか？

主な発見

• KELFIは、シミュレーション回数に応じた適応的εチューニングを含め、推論タスクに直接ハイパーパrameterを学習することで、標準ABC手法に比べて顕著に推論の正確性を向上させる。
• 本手法は、少数のシミュレータ呼び出しでのみ、正確な事後分布近似を達成し、高いサンプル効率を示す。
• 閉形式の事後分布平均埋め込みにより、マルコフ連鎖モンテカルロを用いずとも高速なサンプリングが可能となり、計算オーバーヘッドが低減される。
• フレームワークは、関連のある要約統計量を効果的に特定・重み付けし、モデル適合性を向上させるとともに次元削減を実現する。
• 生態学的モデルにおける実験的結果から、KELFIはベースラインABC手法に比べ、事後分布推定の正確性と収束速度の両面で優れていることが示された。
• 非ガウス事前分布をガウス事前分布に変換する正規化フローの使用により、閉形式解が得られるとともに、推論の整合性が保持された。