[論文レビュー] Approximate Bayesian Computation for Smoothing

James S. Martin, Ajay Jasra+3 more|arXiv (Cornell University)|Jun 22, 2012

Markov Chains and Monte Carlo Methods参考文献 14被引用数 4

ひとこと要約

この論文は、観測密度 $ g(x,y) $ の評価を回避するための補助変数を観測空間に導入することで、隠れマルコフモデル（HMM）におけるスムージングのための近似ベイズ推定（ABC）フレームワークを提案する。この手法は、スムージング期待値の近似において $ \mathcal{O}(n\epsilon) $ の誤差を達成し、ABCおよび逐次モンテカルロ（SMC）近似誤差の理論的制御を可能にし、尤度が計算不能なモデルにおける根拠に基づいた推論を可能にする。

ABSTRACT

We consider a method for approximate inference in hidden Markov models (HMMs). The method circumvents the need to evaluate conditional densities of observations given the hidden states. It may be considered an instance of Approximate Bayesian Computation (ABC) and it involves the introduction of auxiliary variables valued in the same space as the observations. The quality of the approximation may be controlled to arbitrary precision through a parameter ε>0 . We provide theoretical results which quantify, in terms of ε, the ABC error in approximation of expectations of additive functionals with respect to the smoothing distributions. Under regularity assumptions, this error is O(nε), where n is the number of time steps over which smoothing is performed. For numerical implementation we adopt the forward-only sequential Monte Carlo (SMC) scheme of [16] and quantify the combined error from the ABC and SMC approximations. This forms some of the first quantitative results for ABC methods which jointly treat the ABC and simulation errors, with a finite number of data and simulated samples. When the HMM has unknown static parameters, we consider particle Markov chain Monte Carlo [2] (PMCMC) methods for batch statistical inference.

研究の動機と目的

• 観測密度 $ g(x,y) $ の評価を回避する根拠あるABC手法を、HMMスムージングのために開発すること。これは、しばしば計算不能または高コストである。
• ABC近似と逐次モンテカルロ（SMC）シミュレーションの両方からの結合誤差を定量化し、両成分の理論的制御を提供すること。
• 未知の定常パラメータを伴うHMMにおけるバッチ推論を、粒子マルコフ連鎖モンテカルロ（PMCMC）手法を用いて可能にすること。
• ABC誤差の理論的バインディングをスムージング期待値に関して確立し、ABC許容誤差 $ \epsilon $ に関して $ \mathcal{O}(n\epsilon) $ の収束を示すこと。
• 静的パラメータと潜在状態の同時推論にこのフレームワークを拡張し、尤度が計算不能な状態空間モデルへの応用を支援すること。

提案手法

• 真の観測値 $ y_n $ の $ \epsilon $-近傍から抽出される補助変数 $ \tilde{Y}_n $ を用いた補助HMMを導入し、尤度フリーなスムージングを可能にする。
• 直接的な $ g(x_n, y_n) $ の評価を避けるために、前向きのみの逐次モンテカルロ（SMC）スキームを用いてABCスムージング分布を近似する。
• ABC誤差をテレスコーピング和に分解するために、後向きカーネル $ M_{q,\hat{\eta}_{q-1}} $ と $ M_{q,\hat{\eta}_{q-1,\epsilon},\epsilon} $ を用いた後向き表現を採用する。
• テレスコーピング和分解を適用して、真のスムージング器とABCスムージング器の差をバインドし、後向きカーネルの全変動およびエルゴード性の性質を活用する。
• 文献[22]の定理2および補題B.1を用い、後向きカーネルの差をバインドし、ある $ C < \infty $ に対して $ \|M_{k+1,\hat{\eta}_{k,\epsilon},\epsilon} - M_{k+1,\hat{\eta}_k}\|_{TV} \leq C\epsilon $ を示す。
• ABCとSMC誤差の制御を組み合わせ、ABCと真のフィルタ間の全変動距離を分析することで、スムージング期待値における全体の誤差が $ \mathcal{O}(n\epsilon) $ となるようにする。

実験結果

リサーチクエスチョン

• RQ1 観測密度 $ g(x,y) $ が計算不能な場合、HMMにおけるABCスムージングの理論的誤差バインディングは何か？
• RQ2 スムージング期待値におけるABC近似誤差は、許容誤差 $ \epsilon $ および時間ステップ数 $ n $ に対してどのようにスケーリングされるか？
• RQ3 有限データおよび有限サンプルにおいて、ABCとSMC近似誤差の結合誤差を根拠ある方法で定量化できるか？
• RQ4 ABCスムージングは、HMMにおける静的パラメータと潜在状態の同時推論にどのように拡張できるか？
• RQ5 ABC誤差が $ \epsilon \to 0 $ のときに消える条件は何であり、その収束速度はどの程度か？

主な発見

• スムージング期待値を近似するABC誤差は $ \mathcal{O}(n\epsilon) $ であり、$ n $ は時間ステップ数、$ \epsilon > 0 $ は近似許容誤差を制御する。
• 誤差バインディングは $ n $、$ y_{0:n} $、$ \epsilon $ に対して一様であり、これらの量に依存しない定数 $ C < \infty $ を持つ。
• ABCと真の後向きカーネルの差は $ C\epsilon $ でバインドされ、$ \epsilon \to 0 $ のときにABC近似が正確になることを保証する。
• ABCとSMCの誤差を統合的に定量化し、有限データおよび有限サンプルにおけるABC手法の理論的結果の一部を提供する。
• 前向きのみのSMCとPMCMCを用いることで、尤度が計算不能または高コストなHMMにおける尤度フリーなスムージングと推論を可能にする。
• 正則性仮定の下で理論的結果を確立し、一様な $ C < \infty $ と幾何的エルゴード性 $ \xi \in (0,1) $ の存在を仮定することで、誤差寄与の指数的減衰を保証する。