[論文レビュー] Optimal proposals for Approximate Bayesian Computation

Justin Alsing, B. D. Wandelt+1 more|arXiv (Cornell University)|Aug 18, 2018

Markov Chains and Monte Carlo Methods参考文献 1被引用数 8

ひとこと要約

本稿は、逐次モンテカルロ（SMC）および集団モンテカルロ（PMC）近似ベイズ推定（ABC）における最適な提案密度を、パラメータ提案あたりの有効サンプルサイズを最大化することで導出する。最適な提案密度は、高い受容率と低い重要度重みの分散の両方をバランスさせ、特に高次元パラメータ空間において、暗黙の解と2つの実用的近似を用いることで、サンプリング効率を顕著に向上させる。

ABSTRACT

We derive the optimal proposal density for Approximate Bayesian Computation (ABC) using Sequential Monte Carlo (SMC) (or Population Monte Carlo, PMC). The criterion for optimality is that the SMC/PMC-ABC sampler maximise the effective number of samples per parameter proposal. The optimal proposal density represents the optimal trade-off between favoring high acceptance rate and reducing the variance of the importance weights of accepted samples. We discuss two convenient approximations of this proposal and show that the optimal proposal density gives a significant boost in the expected sampling efficiency compared to standard kernels that are in common use in the ABC literature, especially as the number of parameters increases.

研究の動機と目的

• 逐次モンテカルロ（SMC）-ABCアルゴリズムにおける、提案密度の選択が不適切なために生じる低いサンプリング効率の課題を解決すること。
• パラメータ提案あたりの有効サンプル数を最大化する最適な提案密度を特定すること。これは、高い受容率と低い重要度重みの分散の両方をバランスさせる。
• 特定のカーネル族（ガウス分布やKDEなど）に制限されない、理論的裏付けのある適応的提案スキームを提供すること。
• 最適な提案密度が、特にパラメータ数が増加する際、顕著な効率向上をもたらすことを示すこと。
• 標準的な事後密度推定器と併用可能な、計算的に効率的で実用的な最適提案の近似を提供すること。

提案手法

• 有効サンプルサイズを提案あたり最大化するように最適な提案密度 $ q^* $ を導出する。有効サンプルサイズは、受容率と重要度重みを適用後の有効サンプルサイズの積として定義される。
• パラメータ数が無限大に近づく $ \epsilon \to 0 $ の漸近的極限において最適性基準を定式化し、各SMC反復でABC事後分布の密度推定器が利用可能であると仮定する。
• $ q^* $ に対する暗黙の式を提示し、直前の集団からの受理サンプルを繰り返し用いて反復的に解けるようにする。
• 2つの実用的近似を導入する：事前分布と事後分布の幾何平均、および事後密度推定器を用いたKDEベースの近似。
• 提案のバイアスを補正するために、重要度重み $ \pi(\theta)/q(\theta) $ を用いた重要度サンプリングを採用する。ここで $ \pi $ は事前分布、$ q $ は提案密度である。
• ガウスモデルを用いた解析的および数値的比較により、標準的なカーネルと比較して最適提案がもたらす効率向上を検証する。

実験結果

リサーチクエスチョン

• RQ1 SMC-ABCにおいて、パラメータ提案あたりの有効サンプル数を最大化する提案密度は何か？
• RQ2 最適な提案密度は、高い受容率と低い重要度重みの分散の間でどのようにトレードオフを実現するか？
• RQ3 高次元パラメータ空間におけるサンプリング効率に、最適な提案密度が与える影響は何か？
• RQ4 最適提案の実用的近似は、標準的なKDEベースのスキームと比較して、どの程度効率的か？
• RQ5 どのような状況下で、最適提案が既存の手法よりも相対的に大きな改善をもたらすか？

主な発見

• 最適な提案密度は、特にパラメータ数が増加するに従って、標準的なカーネルと比較して期待されるサンプリング効率を顕著に向上させる。
• 最適提案の幾何平均近似は、低次元設定でさえも、事後分布からの直接サンプリングを常に上回る性能を示す。
• 幾何平均近似によるサンプリング効率の向上は、パラメータ数が増加するに従い指数関数的に増大し、特にデータが情報量が多い場合に顕著である。
• ビオンヌら（2009）が提唱したKDEスキームと比較して、幾何平均近似はより高い効率を達成しており、次元が高くなるほどその差が拡大する（例：$ n_\theta = 10 $）。
• 最適提案は、典型的でない構成（例：離れており幅が等しい事前分布と事後分布）を除けば、すべてのケースで $ a > 1 $ を保証する。
• 導出された最適提案は、ABCにおけるヒューリスティックなカーネル幅の選択に代わる、理論的根拠に基づいた適応的代替手段を提供する。計算コストは、事後密度推定の範囲内で最小限に抑えられる。