[論文レビュー] Asymptotic Behaviour of Approximate Bayesian Estimators

Dean Ta, Sumeetpal S. Singh|arXiv (Cornell University)|May 18, 2011

Markov Chains and Monte Carlo Methods参考文献 14被引用数 17

ひとこと要約

本稿は、尤度が計算不能な隠れマルコフモデル（HMM）における近似ベイズ計算（ABC）推定量の理論的分析を提供しており、ABCに基づくパラメータ推定量が標準的な尤度に基づく推定量の漸近的バイアスを伴うバージョンであることを示している。主な貢献は、ABCの許容誤差 $\epsilon$ が 0 に近づくにつれてバイアスが消えること、および正則性条件下でABC推定量の漸近分布が真のパラメータ値の周りに正規分布に収束することを証明していることである。

ABSTRACT

Although approximate Bayesian computation (ABC) has become a popular technique for performing parameter estimation when the likelihood functions are analytically intractable there has not as yet been a complete investigation of the theoretical properties of the resulting estimators. In this paper we give a theoretical analysis of the asymptotic properties of ABC based parameter estimators for hidden Markov models and show that ABC based estimators satisfy asymptotically biased versions of the standard results in the statistical literature.

研究の動機と目的

• 尤度が計算不能な状況における近似ベイズ計算（ABC）推定量の理論的性質を調査すること。
• 隠れマルコフモデル（HMM）におけるABCに基づくパラメータ推定量の漸近的挙動を確立すること。
• ABC推定量が一貫性と漸近的正規性を有するかどうかを特定し、バイアスを定量すること。
• ABC推定量が、固有のバイアスを伴うものの、標準的な尤度に基づく推定量の漸近的性質を引き継ぐことを示すこと。
• ABC推定量の漸近的バイアスが許容誤差 $\epsilon$ を小さくすることで任意に小さくできることを示すこと。

提案手法

• ABC近似を真の尤度の摂動とモデル化し、摂動された確率分布の尤度として扱う。
• ABC尤度 $p^\epsilon_\theta(\hat{Z}) = \mathbb{P}_\theta(d(\hat{Z}, Z) \leq \epsilon)$ が正規化定数を除き真の密度を近似することを用いる。
• マルコフ連鎖の混合理論の結果を用いて、HMMにおける潜在状態と観測値の間の依存を制御する。
• 一様エルゴード性および幾何的混合仮定（A2–A7）を用いて、$\theta^{\epsilon,+}$ と $\theta^{\epsilon,-}$ の下での条件付き分布間の全 Variation 距離をバインドする。
• 真のモデルとABC近似モデルの間のスコア関数（対数尤度の微分）の差に上限を付ける。
• 恒等式 $\frac{\nabla_\theta g_\theta}{g_\theta} - \frac{\nabla_\theta g_\theta^\epsilon}{g_\theta^\epsilon} = \cdots$ を用いて、推定方程式におけるバイアスを分解・バインドする。

実験結果

リサーチクエスチョン

• RQ1 尤度が計算不能な隠れマルコフモデルにおいて、ABCに基づく推定量はどのように漸近的に振る舞うか？
• RQ2 ABC推定量の漸近的バイアスは、標準的な最尤推定量やベイズ推定量と比べてどのような性質を有するか？
• RQ3 ABC推定量の漸近的バイアスを任意に小さくできるか。もしそうならば、どのような条件下で可能か？
• RQ4 許容誤差 $\epsilon$ の選択が、ABC推定量の漸近的分布にどのように影響するか？
• RQ5 ABC推定量は、標準的な尤度に基づく推定量の漸近的正規性および一貫性を引き継ぐか？

主な発見

• ABCに基づく推定量は、標準的な尤度に基づく推定量の漸近的バイアスを伴うバージョンであり、$\epsilon \to 0$ のときバイアスが消える。
• 正則性条件下で、ABC推定量の漸近分布は真のパラメータ値 $\theta^*$ の周りに正規分布に収束する。
• 推定方程式におけるバイアスは、ある定数 $K'$ を用いて $K'\epsilon$ でバインド可能であり、これはバイアスが $\epsilon$ に線形に減少することを示唆する。
• 条件付き分布 $\mathbb{P}_{\theta^{\epsilon,+}}(X_{i-1},X_i|Y_{-k:n})$ と $\mathbb{P}_{\theta^{\epsilon,-}}(X_{i-1},X_i|Y_{-k:n})$ 間の全 Variation 距離は $K''\epsilon \rho^{|i|}$ でバインド可能であり、依存性が指数関数的に減少することが保証される。
• 仮定（A2）–（A7）—幾何的混合性および観測密度の滑らかさ—を満たす場合、ABC推定量は一貫性があり、漸近的に正規分布に従う。
• 理論的枠組みにより、$\epsilon$ が十分に小さく選ばれれば、ABCが大標本設定において信頼性を持って使用可能であることが確認された。