[論文レビュー] Extending approximate Bayesian computation methods to high dimensions via a Gaussian copula model

Jingjing Li, David J. Nott+2 more|arXiv (Cornell University)|Apr 16, 2015

Markov Chains and Monte Carlo Methods参考文献 30被引用数 6

ひとこと要約

本稿では、パラメータ間の対ごとの依存関係をモデル化しつつ、非パラメトリックな周辺分布を許容することで、高次元パrameter空間への近似ベイズ計算（ABC）の拡張を、ガウス・コプーラに基づく手法によって提案する。2変量の事後分布を別々に推定し、それらをガウス・コプーラによって結合することで、要約統計量における次元の呪いを克服し、解析的で扱いやすい事後分布の近似が得られ、真の事後分布が正規でない場合でさえ良好な性能を示す。

ABSTRACT

Approximate Bayesian computation (ABC) refers to a family of inference methods used in the Bayesian analysis of complex models where evaluation of the likelihood is difficult. Conventional ABC methods often suffer from the curse of dimensionality, and a marginal adjustment strategy was recently introduced in the literature to improve the performance of ABC algorithms in high-dimensional problems. The marginal adjustment approach is extended using a Gaussian copula approximation. The method first estimates the bivariate posterior for each pair of parameters separately using a 2-dimensional Gaussian copula, and then combines these estimates together to estimate the joint posterior. The approximation works well in large sample settings when the posterior is approximately normal, but also works well in many cases which are far from that situation due to the nonparametric estimation of the marginal posterior distributions. If each bivariate posterior distribution can be well estimated with a low-dimensional ABC analysis then this Gaussian copula method can extend ABC methods to problems of high dimension. The method also results in an analytic expression for the approximate posterior which is useful for many purposes such as approximation of the likelihood itself. This method is illustrated with several examples.

研究の動機と目的

• 高次元の要約統計量がカーネル密度推定を信頼できなくなることにより生じるABC手法における次元の呪いに対処すること。
• パラメータ対間の依存構造を活用することで、高次元パrameter空間におけるABCの性能を向上させること。
• 尤度関数が得られない状況でも利用可能な解析的事後分布近似を提供する手法を開発すること。
• ロバストな要約統計量とコプーラABCフレームワークを組み合わせることで、外れ値が存在する状況でも頑健なモデル選択を可能にすること。
• 尤度が計算不能で高次元推定が必要な複雑なモデルに対して、実用的でスケーラブルな標準ABCの代替手段を提供すること。

提案手法

• パラメータ対間の依存関係を2次元事後分布推定を通じて捉えるガウス・コプーラを用いて、結合事後分布をモデル化する。
• 各2次元事後分布 $\pi(\theta_i, \theta_j|s_{obs})$ を、スムージングカーネルと要約統計量を用いた2次元ABC解析により推定する。
• 非パラメトリック推定（例：カーネル密度推定）を用いて一変量周辺事後分布を推定し、正規性を超える柔軟性を確保する。
• 推定された2次元事後分布と周辺分布を、ガウス・コプーラ構造を介して統合し、完全な結合事後分布近似を構築する。
• 近似事後分布の解析的表現を構築し、尤度の近似と頻度主義的推論を容易にする。
• 推定効率を向上させるために、半自動的手法やモデル固有の知識を用いて情報量の多い要約統計量 $s_{(i)}$ および $s_{(i,j)}$ を選択する。

実験結果

リサーチクエスチョン

• RQ1 標準ABCが次元の呪いにより失敗する状況下でも、コプーラベースのABCアプローチが高次元パrameter推定を効果的に処理できるか。
• RQ2 真の事後分布が非正規的であるか、複雑な依存構造を示す場合に、ガウス・コプーラ近似はどの程度良好に機能するか。
• RQ3 この手法が、尤度フリー推論とモデル比較に有用な解析的事後分布近似をどの程度提供できるか。
• RQ4 ロバストな要約統計量と組み合わせた場合、外れ値が存在する状況でもこの手法が頑健性を維持できるか。
• RQ5 高次元設定下で、コプーラABC手法は標準ABCおよび周辺調整手法と比較して、どの程度優れた性能を示すか。

主な発見

• コプーラABC手法は、要約統計量の高次元カーネル密度推定に依存するのを大幅に軽減することで、高次元問題におけるABC性能を著しく向上させる。
• この手法は、有効な解析的事後分布近似を生成し、尤度の近似と頻度主義的分析（基準としての）を容易にする。
• 真の事後分布が正規から大きく逸脱している場合でも、周辺事後分布の非パラメトリック推定のおかげで良好な性能を発揮する。
• 大標本設定下では、事後分布が正規に近づくにつれてコプーラ近似の精度が向上し、漸近理論と整合的になる。
• 外れ値が存在する状況でも、高事後確率モデルを効果的に同定でき、標準ABCを上回る頑健なモデル選択性能を示す。
• 半自動的要約統計量選択と組み合わせることで、スケーラブルで実用的な手法であり、尤度が計算不能で高次元推定が必要な複雑なモデルにおいて、標準ABCの代替手段として有効である。