[論文レビュー] Approximate Bayesian Computation via Regression Density Estimation

Yanan Fan, David J. Nott+1 more|arXiv (Cornell University)|Dec 6, 2012

Markov Chains and Monte Carlo Methods被引用数 4

ひとこと要約

本稿では、回帰密度推定を用いて尤度関数を直接近似する、革新的な近似ベイズ計算（ABC）手法を提案する。この手法により、高次元の設定においても効率的で安定した尤度フリー推論が可能になる。要約統計量を柔軟なエキスパートの混合モデルで変換することで、事前シミュレーションを必要とせず、尤度の近似が正確に達成され、最小限の計算コストでベイズ的および頻度主義的推論を両立できる。

ABSTRACT

Approximate Bayesian computation (ABC) methods, which are applicable when the likelihood is difficult or impossible to calculate, are an active topic of current research. Most current ABC algorithms directly approximate the posterior distribution, but an alternative, less common strategy is to approximate the likelihood function. This has several advantages. First, in some problems, it is easier to approximate the likelihood than to approximate the posterior. Second, an approximation to the likelihood allows reference analyses to be constructed based solely on the likelihood. Third, it is straightforward to perform sensitivity analyses for several different choices of prior once an approximation to the likelihood is constructed, which needs to be done only once. The contribution of the present paper is to consider regression density estimation techniques to approximate the likelihood in the ABC setting. Our likelihood approximations build on recently developed marginal adaptation density estimators by extending them for conditional density estimation. Our approach facilitates reference Bayesian inference, as well as frequentist inference. The method is demonstrated via a challenging problem of inference for stereological extremes, where we perform both frequentist and Bayesian inference.

研究の動機と目的

• 標準的なABC手法の直接的な後確率近似を避ける、尤度に焦点を当てた代替手法の開発。
• 複数の事前分布に対して感度分析を実施可能な、効率的かつ再利用可能な尤度近似の実現。
• 高次元の要約統計量空間における数値的安定性と精度の向上。
• 単一の解析的表現可能な尤度推定を用いて、ベイズ的および頻度主義的推論を両立すること。

提案手法

• 観測された要約統計量とパラメータを、条件付き密度推定がより安定する変換空間に写像するための柔軟なエキスパートの混合モデルを用いる。
• 周辺適応密度推定器を条件付き密度推定に拡張し、尤度関数 $ L({\bf S}|{\boldsymbol\theta}) $ の非パラメトリック近似を可能にする。
• 尤度は、事前分布からのサンプリングを必要とせず、シミュレートされたデータペア $ ({\bf S}^{(i)}, {\boldsymbol\theta}^{(i)}) $ から推定する。
• 回帰密度推定を用いて $ f({\bf S}|{\boldsymbol\theta}) $ をモデル化し、尤度の明示的な解析的表現を導出する。
• 推定された尤度を用いて、最尤推定や後確率分布の直接計算が可能になる。
• 標準的な多次元正規混合モデルでは失敗するが、115次元の設定ですら数値的に安定している。

実験結果

リサーチクエスチョン

• RQ1 尤度に焦点を当てたABCアプローチは、計算的安定性と再利用可能性の面で、標準的な後確率近似ABCを上回ることができるか？
• RQ2 回帰密度推定は、高次元の要約統計量空間における複雑で解析不能な尤度をどれほど正確に近似できるか？
• RQ3 推定された尤度は、最尤推定などの信頼性の高い頻度主義的推論をどの程度可能にするか？
• RQ4 尤度が推定された後、再びシミュレーションを走らせずとも、事前分布の感度分析を効率的に行えるか？
• RQ5 エキスパートの混合モデルによる変換は、直接的な多次元密度推定と比較して、著しく数値的安定性を向上させるか？

主な発見

• 回帰密度推定アプローチは、標準的な多次元正規混合モデルが失敗する115次元の要約統計量空間においても、数値的に安定した尤度近似を達成した。
• 推定された尤度に基づく最尤推定値は、非情報的事前分布下でのベイズ的後確率推定と整合的であった。
• 事前分布 $ \xi \sim N(0, a^2) $ の $ a $ の値に対する感度分析では、曖昧な事前分布（$ a=100 $）では影響が最小限であったが、強い事前分布（$ a=0.1 $）では顕著な差が観察された。
• 推定された尤度により、追加のABCサンプリングを必要とせず、最尤推定（MLE）を含む直接的な頻度主義的推論が可能になった。
• Bortotら（2007）のABC手法（$ \delta = 3.3 $）と比較して、後確率の精度が高く、信用区間が狭くなった。
• 柔軟なエキスパートの混合モデルによる変換は、直接的な $ ({\bf S}, {\boldsymbol\theta}) $ ペアの密度推定と比較して、安定性と精度を著しく向上させた。