[论文解读] Asymptotic Behaviour of Approximate Bayesian Estimators

Dean Ta, Sumeetpal S. Singh|arXiv (Cornell University)|May 18, 2011

Markov Chains and Monte Carlo Methods参考文献 14被引用 17

一句话总结

本文对隐马尔可夫模型中近似贝叶斯计算（ABC）估计器的理论性质进行了分析，表明基于ABC的参数估计器是标准似然估计器的渐近偏差版本。主要贡献在于证明了当ABC容差 $\epsilon$ 趋近于零时，偏差消失，并且在正则条件下，ABC估计器的渐近分布收敛于以真实参数值为中心的正态分布。

ABSTRACT

Although approximate Bayesian computation (ABC) has become a popular technique for performing parameter estimation when the likelihood functions are analytically intractable there has not as yet been a complete investigation of the theoretical properties of the resulting estimators. In this paper we give a theoretical analysis of the asymptotic properties of ABC based parameter estimators for hidden Markov models and show that ABC based estimators satisfy asymptotically biased versions of the standard results in the statistical literature.

研究动机与目标

• 研究在似然函数不可计算时，近似贝叶斯计算（ABC）估计器的理论性质。
• 建立基于ABC的参数估计器在隐马尔可夫模型（HMMs）中的渐近行为。
• 确定ABC估计器是否具有一致性和渐近正态性，并量化其偏差。
• 表明ABC估计器继承了标准似然估计器的渐近性质，尽管存在固有偏差。
• 证明通过减小容差 $\epsilon$，ABC估计器的渐近偏差可被控制至任意小。

提出的方法

• 将ABC近似建模为真实似然的扰动，将其视为一个扰动概率分布的似然。
• 利用ABC似然 $p^\epsilon_\theta(\hat{Z}) = \mathbb{P}_\theta(d(\hat{Z}, Z) \leq \epsilon)$ 近似真实密度（仅差一个归一化因子）。
• 应用马尔可夫链混合性理论，控制隐马尔可夫模型中潜变量状态与观测值之间的依赖性。
• 采用统一遍历性和几何混合性假设（A2–A7），以有界条件分布之间总变差距离，对应于 $\theta^{\epsilon,+}$ 和 $\theta^{\epsilon,-}$。
• 推导真实模型与ABC近似模型之间得分函数（对数似然导数）差异的界。
• 利用恒等式 $\frac{\nabla_\theta g_\theta}{g_\theta} - \frac{\nabla_\theta g_\theta^\epsilon}{g_\theta^\epsilon} = \cdots$ 对估计方程中的偏差进行分解与有界控制。

实验结果

研究问题

• RQ1 在似然函数不可计算的隐马尔可夫模型中，基于ABC的估计器如何渐近表现？
• RQ2 与标准最大似然或贝叶斯估计器相比，ABC估计器的渐近偏差具有何种性质？
• RQ3 ABC估计器的渐近偏差是否可被控制至任意小？若可，需满足何种条件？
• RQ4 容差 $\epsilon$ 的选择如何影响ABC估计器的渐近分布？
• RQ5 ABC估计器是否继承了标准似然估计器的渐近正态性与一致性？

主要发现

• 基于ABC的估计器是标准似然估计器的渐近偏差版本，且当 $\epsilon \to 0$ 时偏差消失。
• 在正则条件下，ABC估计器的渐近分布收敛于以真实参数值 $\theta^*$ 为中心的正态分布。
• 估计方程中的偏差被有界于 $K'\epsilon$，意味着偏差随 $\epsilon$ 线性减小。
• 条件分布 $\mathbb{P}_{\theta^{\epsilon,+}}(X_{i-1},X_i|Y_{-k:n})$ 与 $\mathbb{P}_{\theta^{\epsilon,-}}(X_{i-1},X_i|Y_{-k:n})$ 之间的总变差距离被有界于 $K''\epsilon \rho^{|i|}$，确保依赖性呈指数衰减。
• 在假设（A2）–（A7）下，包括几何混合性与观测密度的光滑性，ABC估计器具有一致性与渐近正态性。
• 理论框架确认，只要 $\epsilon$ 足够小以控制偏差，ABC可在大样本设置中可靠使用。