[论文解读] Approximate Bayesian Computation via Classification

Yuexi Wang, Tetsuya Kaji+1 more|arXiv (Cornell University)|Nov 22, 2021

Markov Chains and Monte Carlo Methods参考文献 52被引用 4

一句话总结

本文提出了一种新颖的近似贝叶斯计算（ABC）框架，该框架用基于分类的Kullback-Leibler（KL）散度估计器替代了传统的摘要统计量，实现了基于模拟器模型的无似然推断。通过训练分类器以区分真实数据与模拟数据，该方法估计KL散度并将其用作差异度量，其后验集中率依赖于分类器的估计误差，并通过指数核实现渐近正态性，相较于使用摘要统计量的标准ABC方法，在模拟和真实波动率估计中表现更优。

ABSTRACT

Approximate Bayesian Computation (ABC) enables statistical inference in simulator-based models whose likelihoods are difficult to calculate but easy to simulate from. ABC constructs a kernel-type approximation to the posterior distribution through an accept/reject mechanism which compares summary statistics of real and simulated data. To obviate the need for summary statistics, we directly compare empirical distributions with a Kullback-Leibler (KL) divergence estimator obtained via contrastive learning. In particular, we blend flexible machine learning classifiers within ABC to automate fake/real data comparisons. We consider the traditional accept/reject kernel as well as an exponential weighting scheme which does not require the ABC acceptance threshold. Our theoretical results show that the rate at which our ABC posterior distributions concentrate around the true parameter depends on the estimation error of the classifier. We derive limiting posterior shape results and find that, with a properly scaled exponential kernel, asymptotic normality holds. We demonstrate the usefulness of our approach on simulated examples as well as real data in the context of stock volatility estimation.

研究动机与目标

• 为解决在近似贝叶斯计算（ABC）中选择有效摘要统计量的挑战，该挑战在似然函数不可计算的模拟器模型中对准确推断至关重要。
• 开发一种无似然推断框架，通过直接使用基于分类器的KL散度估计器比较经验分布，绕过手动选择摘要统计量。
• 通过用基于分类器置信度的平滑指数核替代人为的ABC接受阈值，提升后验集中率和推断效率。
• 为该方法的性能提供理论依据，表明后验集中率依赖于分类器的估计误差和后验收缩率。
• 通过基准模拟和基于历史价格数据的真实股票波动率估计应用，展示该方法的实际效用。

提出的方法

• 该方法使用二分类器区分真实数据与模拟数据，分类器输出的概率被用作真实与模拟数据经验分布之间KL散度的估计。
• 分类器在成对的真实与模拟数据集上进行训练，以学习反映统计相似性的决策边界，从而实现无需摘要统计量的非参数、灵活的差异度量。
• ABC后验通过基于核的接受机制构建：可采用带阈值的接受/拒绝核，或基于分类器置信度（即被识别为真实数据的概率）加权样本的指数核。
• 指数核定义为 $ w( heta) = \text{exp}(-\tau \times \text{KL}_{\text{est}}(\theta)) $，其中 $ \tau $ 为缩放参数，$ \text{KL}_{\text{est}} $ 为基于分类器的KL估计器。
• 理论分析表明，后验集中率依赖于分类器的估计误差 $ \tilde{\rho}_n $，在适当缩放下，后验可实现渐近正态性。
• 该方法与广义贝叶斯推断（GBI）及 $ c $-后验框架相关联，其中KL估计器作为鲁棒贝叶斯更新中的损失函数。

实验结果

研究问题

• RQ1 能否通过训练分类器以区分真实与模拟数据，提供一种可靠、无需摘要统计量的ABC差异度量？
• RQ2 基于分类器的KL估计器的ABC方法在后验集中率和覆盖度方面，与使用摘要统计量的传统ABC相比表现如何？
• RQ3 所提出的基于分类的ABC方法的后验集中率理论速率是多少？其如何依赖于分类器的估计误差？
• RQ4 基于分类器置信度的指数核能否消除对任意ABC接受阈值 $ \tilde{\rho}_n $ 的依赖？其是否带来更好的频率性质？
• RQ5 所提出的方法是否能实现后验的渐近正态性？在分类器和模型的何种条件下可实现？

主要发现

• 所提出的基于分类的ABC方法在后验分布集中程度上优于使用摘要统计量的ABC方法，如在股票波动率估计示例中所示，后验区间显著更窄。
• 接受/拒绝ABC的后验集中率同时依赖于ABC阈值 $ \tilde{\rho}_n $ 和分类器估计误差 $ \tilde{\rho}_n $，当分类器更准确时，集中速率更快。
• 采用指数核的ABC版本在适当缩放下可实现渐近正态性，后验以由分类器估计误差和实际后验收缩率决定的速率集中在真实参数附近。
• 在BA和PG股票价格的真实数据分析中，采用指数核的方法得到的波动率后验估计（$ \bar{\boldsymbol{\theta}} $）在不同方法间保持一致，而使用摘要统计量的ABC则表现出更宽且不精确的区间。
• 该方法对模型误设具有鲁棒性，接受/拒绝变体继承了 $ c $-后验框架的鲁棒性，而指数核则与以KL散度为损失的广义贝叶斯推断正式关联。
• 理论结果为Gutmann等人（2018）在ABC中使用分类准确率的方法提供了理论支持，表明分类器分离真实与虚假数据的能力可直接反映后验推断的质量。