[論文レビュー] Approximate Bayesian computation and Bayes linear analysis: Towards high-dimensional ABC

David J. Nott, Yanan Fan+2 more|arXiv (Cornell University)|Dec 20, 2011

Markov Chains and Monte Carlo Methods参考文献 28被引用数 6

ひとこと要約

本稿では、回帰補正ABCと一変量周辺事後分布推定を組み合わせることで、高次元における近似ベイズ計算（ABC）の性能を向上させる新規手法を提案する。ベイズ線形解析を用いて回帰補正をモーメント近似として解釈し、初期ABCサンプルからの周辺分布をより正確な一変量推定に置き換えることで、高次元設定における事後分布の精度を顕著に向上させる。

ABSTRACT

Bayes linear analysis and approximate Bayesian computation (ABC) are techniques commonly used in the Bayesian analysis of complex models. In this article we connect these ideas by demonstrating that regression-adjustment ABC algorithms produce samples for which first and second order moment summaries approximate adjusted expectation and variance for a Bayes linear analysis. This gives regression-adjustment methods a useful interpretation and role in exploratory analysis in high-dimensional problems. As a result, we propose a new method for combining high-dimensional, regression-adjustment ABC with lower-dimensional approaches (such as using MCMC for ABC). This method first obtains a rough estimate of the joint posterior via regression-adjustment ABC, and then estimates each univariate marginal posterior distribution separately in a lower-dimensional analysis. The marginal distributions of the initial estimate are then modified to equal the separately estimated marginals, thereby providing an improved estimate of the joint posterior. We illustrate this method with several examples. Supplementary materials for this article are available online.

研究の動機と目的

• 次元の呪いにより、高次元モデルにおける結合事後分布の近似が失敗する標準的回帰補正ABCの限界を克服すること。
• 回帰補正ABCとベイズ線形解析の理論的関連を確立し、回帰補正を事後期待値および分散の近似として解釈すること。
• 高次元パrameter空間におけるABC事後分布推定の精度を向上させる実用的でスケーラブルな手法を開発すること、特に一変量周辺分布の精錬を目的とする。
• 初期の結合依存構造が劣悪であっても、周辺分布の調整が事後分布の質を顕著に向上させることを示すこと。

提案手法

• 高次元パrameter空間における結合事後分布からの初期的で粗いサンプルを、回帰補正ABCを用いて生成する。
• 核重み付き最小二乗法を用いて、要約統計量の下でのパラメータの条件付き分布を推定する局所線形回帰モデルを適用し、調整済みパラメータ抽出を行う。
• 個々のパラメータの高い精度を達成するために、低次元ABC手法（例：MCMCベースのABC）を用いて、各一変量周辺事後分布を別々に推定する。
• 初期ABCサンプルの各一変量周辺分布を、別々に推定されたより正確な推定値に置き換え、元の依存構造を保持しつつ周辺の整合性を向上させる。
• 修正されたサンプルを用いて、より良いモーメントとモデル適合度を有する、精錬された結合事後分布近似を得る。
• シミュレーションスタディおよび実世界の応用（例：水文的モデル）を通じて、モデル適合度と事後分布の質を比較して、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 回帰補正ABCは、特にモーメント近似の観点から、ベイズ線形解析の枠組みで意味的に解釈可能であるか？
• RQ2 標準的回帰補正が次元の高さにより失敗する場合、高次元ABC事後分布近似の精度をどのように向上させられるか？
• RQ3 初期ABCサンプルの各一変量周辺分布を、より正確な推定値に置き換えることで、結合事後分布全体の質がどの程度向上するか？
• RQ4 高次元回帰補正ABCと低次元周辺推定を組み合わせたハイブリッド手法が、複雑なモデルにおいて標準ABC手法を上回る性能を示せるか？

主な発見

• 回帰補正ABCサンプルは、ベイズ線形フレームワーク下で、事後平均および分散を近似しており、探索的解析における使用に対する理論的裏付けを提供する。
• 回帰モデルが誤って指定されている、または要約統計量が不十分な場合、標準的回帰補正ABCの結合事後分布は、特に周辺位置において顕著なバイアスを示すことがある。
• 初期ABCサンプルの各一変量周辺分布を、低次元ABC手法で別々に推定したより正確な推定値に置き換えることで、対数変換済み流出量データにおける中央絶対誤差の観点から、モデル適合度が顕著に向上する。
• 周辺調整手法は、初期の依存構造が劣悪であっても、より良い周辺モーメントを実現するため、調整なしの回帰ABCに比べてより正確な事後分布を生成する。
• 本手法はモデル不一致や入力不確実性に対して頑健であり、AWBM水文的モデルにおいて、外部的モデル不一致よりも入力不確実性がモデル不適合の主な要因である可能性を示唆している。
• 本手法により、中～高次元問題において標準ABC手法を活用可能とし、ABCの実用的適用範囲を現在の制限を超えて拡張できる。