[論文レビュー] Efficient approximate Bayesian inference for models with intractable likelihoods

Johan Dahlin, Mattias Villani+1 more|arXiv (Cornell University)|Jun 23, 2015

Gaussian Processes and Bayesian Inference参考文献 46被引用数 5

ひとこと要約

本稿では、非線形状態空間モデルにおける不確実な事後分布を効率的に近似するため、ガウス過程最適化と逐次モンテカルロ近似ベイズ推定（SMC-ABC）を組み合わせた新規手法GPO-ABCを提案する。この手法は、粒子MCMCと同等の精度を達成しながら、著しく低い計算コストと、ノイズの多い尤度推定に対するより高いロバスト性を実現した。実験では、確率的ボラティリティモデルおよびコプーラベースのリスク価値（VaR）モデルで有効性が確認された。

ABSTRACT

We consider the problem of approximate Bayesian parameter inference in nonlinear state space models with intractable likelihoods. Sequential Monte Carlo with approximate Bayesian computations (SMC-ABC) is an approach to approximate the likelihood in this type of models. However, such approximations can be noisy and computationally costly which hinders efficient implementations using standard methods based on optimisation and statistical simulation. We propose a novel method based on the combination of Gaussian process optimisation (GPO) and SMC-ABC to create a Laplace approximation of the intractable posterior. The properties of the resulting GPO-ABC method are studied using stochastic volatility (SV) models with both synthetic and real-world data. We conclude that the algorithm enjoys: good accuracy comparable to particle Markov chain Monte Carlo with a significant reduction in computational cost and better robustness to noise in the estimates compared with a gradient-based optimisation algorithm. Finally, we make use of GPO-ABC to estimate the Value-at-Risk for a portfolio using a copula model with SV models for the margins.

研究の動機と目的

• 不確実な尤度を有する非線形状態空間モデルにおける、非効率的でノイズの多い近似ベイズ推定の課題を解決すること。
• 標準的な最適化をガウス過程に基づく最適化に置き換えることで、SMC-ABCにおける計算コストを低減すること。
• 尤度推定のノイズに対する事後分布近似のロバスト性を向上させること。
• 例えば、確率的ボラティリティマージンを有するコプーラベースのポートフォリオのような、複雑な金融モデルにおける正確な推定を可能にすること。
• 同等の精度を達成するが計算負荷が低い、粒子MCMCのスケーラブルな代替手法を提供すること。

提案手法

• 本手法は、ガウス過程最適化（GPO）と逐次モンテカルロ近似ベイズ推定（SMC-ABC）を統合し、不確実な事後分布のラプラス近似を構築する。
• GPOは、ABC差違和関数のガウス過程スレーブを繰り返しサンプリング・更新することで、事後分布のモードを効率的に特定する。
• SMC-ABCフレームワークを用いて、尤度の逐次的パーティクル近似を生成し、これをガウス過程スレーブの学習に使用する。
• GPOで推定されたモードの周囲にラプラス近似を構築することで、不確実性の評価を伴う高速な事後分布推定が可能になる。
• GPOのグローバル探索能力を活用することで、局所最適解を避けるとともに、ノイズの多い尤度推定への感受性を低減する。
• 本手法は、確率的ボラティリティモデルおよびリスク価値推定のためのSVマージンを有するコプーラモデルに適用された。

実験結果

リサーチクエスチョン

• RQ1 ガウス過程最適化は、不確実な尤度を有するモデルにおけるSMC-ABCの効率性とロバスト性を向上させ得るか？
• RQ2 状態空間モデルにおいて、GPO-ABCは粒子MCMCや勾配ベース最適化と比較して、精度と計算コストの面でどのように差がつくか？
• RQ3 標準的な最適化手法と比較して、GPO-ABCはABC尤度推定のノイズに対する感受性をどの程度低減するか？
• RQ4 GPO-ABCは、確率的ボラティリティマージンを有するコプーラベースのポートフォリオのような、複雑な金融リスクモデルにおける実用的ベイズ推定を可能にするか？
• RQ5 GPO-ABCは、合成ベンチマークと比較して、実世界のデータ応用においてどの程度のパフォーマンスを示すか？

主な発見

• GPO-ABCは、粒子MCMCと同等の事後分布の精度を達成しながら、計算コストを顕著に低減した。
• 勾配ベース最適化アルゴリズムと比較して、尤度推定のノイズに対するロバスト性が優れていることが示された。
• GPO-ABCに基づくラプラス近似は、合成的および実世界の確率的ボラティリティモデルの両方において、信頼性があり効率的な事後分布近似を提供した。
• GPO-ABCは、SVマージンを有するコプーラモデルにおけるリスク価値（VaR）推定に成功し、実際の金融リスク問題への応用可能性を示した。
• GPOとSMC-ABCの統合により、標準的な最適化アプローチと比較して収束が速く、チューニングパラメータへの依存度も低下した。
• 実験結果から、ABC尤度推定がノイズを含んでもGPO-ABCは高い精度を維持し、安定性において勾配ベースの代替手法を上回ることが確認された。