[論文レビュー] Probably approximate Bayesian computation: nonasymptotic convergence of ABC under misspecification

James Ridgway|arXiv (Cornell University)|Jul 19, 2017

Markov Chains and Monte Carlo Methods参考文献 28被引用数 6

ひとこと要約

本稿は、統計モデル族に真のデータ生成モデルが含まれない状況下でも、近似ベイズ計算（ABC）が依然として頑健であることを示す、非漸近的オラクル不等式を確立する。ABC事後分布と真の事後分布の距離に対する有限サンプルバウンドを導出し、パラメータ次元および要約統計量のサイズに明示的な依存関係を持つ。さらに、ABC擬似事後分布からのサンプリングに適した改善された逐次モンテカルロ（SMC）アルゴリズムを提案する。

ABSTRACT

Approximate Bayesian computation (ABC) is a widely used inference method in Bayesian statistics to bypass the point-wise computation of the likelihood. In this paper we develop theoretical bounds for the distance between the statistics used in ABC. We show that some versions of ABC are inherently robust to misspecification. The bounds are given in the form of oracle inequalities for a finite sample size. The dependence on the dimension of the parameter space and the number of statistics is made explicit. The results are shown to be amenable to oracle inequalities in parameter space. We apply our theoretical results to given prior distributions and data generating processes, including a non-parametric regression model. In a second part of the paper, we propose a sequential Monte Carlo (SMC) to sample from the pseudo-posterior, improving upon the state of the art samplers.

研究の動機と目的

• モデルが不適合である場合のABCに対して、有限サンプル、非漸近的収束保証を確立すること。
• 明示的な集中バウンドを通じて、ABCのモデル不適合に対する頑健性を定量化すること。
• 要約統計量空間およびパラメータ空間の両方におけるABCのオラクル不等式を導出すること。
• ABC擬似事後分布からの効率的サンプリングを目的とした、新しい逐次モンテカルロ（SMC）アルゴリズムを提案すること。
• 理論的バウンドを用いた、窓幅と要約統計量選択に関する実用的指針を提供すること。

提案手法

• 指数集中不等式を用いて、ABCと真の事後分布の期待距離に関する非漸近的オラクル不等式を導出する。
• ABCにおける指数カーネルの使用により、変分最適化が可能になり、理論的取り扱いが容易になるようにする。
• 要約統計量の距離に関する集中バウンドを適用し、不適合状況下でのバイアスを制御する。
• 逐次逆温度適応と改善されたMCMCカーネル選択を特徴とする、適応的SMC-ABCアルゴリズムを提案する。
• データ駆動型キャリブレーションに基づく、ABC窓幅に関する経験的および適応的バウンドを導入する。
• 特に $λ < 1$ の場合に、ABC収束と一般化事後分布理論との関係を確立する。

実験結果

リサーチクエスチョン

• RQ1 真のモデルが統計モデル族に含まれない場合、ABCの事後分布の集中度はどのように振る舞うか？
• RQ2 モデル不適合下で、ABCに対して非漸近的かつ有限サンプルバウンドを導出できるか？
• RQ3 不適合状況下におけるABCの最適な窓幅 $h$ は何か？また、これはサンプルサイズおよび次元にどのように依存するか？
• RQ4 ABC擬似事後分布からの効率的サンプリングを実現するため、逐次モンテカルロ手法をどのように改善できるか？
• RQ5 要約統計量空間におけるオラクル不等式から、パラメータ空間におけるオラクル不等式を導出できるか？

主な発見

• 本稿は、不適合状況下におけるABCに対して非漸近的オラクル不等式を確立し、ABC事後分布と真の事後分布の期待距離が、モデルの複雑さとサンプルサイズに依存する項によって上限づけられることを示した。
• バウンドはパラメータ空間の次元および要約統計量の数に明示的に依存しており、オラクルへの距離の収束速度は $O\left(\left(\frac{\log^2 n}{n}\right)^{\frac{\beta}{2\beta+1}}\right)$ のオーダーである。
• ABCは、モデル不適合に対し本質的に頑健であることが示され、計算的に可能であっても窓パラメータ $h$ をゆっくり減少させる必要がある。
• 提案されたSMC-ABCアルゴリズムは、適応的逆温度スケジューリングとより良いMCMCカーネル選択により、既存のサンプラーを凌駕し、混合性と収束性が向上した。
• 経験的および適応的窓幅バウンドが導出され、漸近的ヒューリスティクスに依存せずに $h$ のデータ駆動型選択が可能になった。
• 非パrametric回帰やその他のモデルにおいて数値的に理論的結果が検証され、不適合下でも一貫した性能を示した。