[论文解读] Fast Inference for Intractable Likelihood Problems using Variational Bayes

David Gunawan, Minh‐Ngoc Tran+1 more|arXiv (Cornell University)|May 18, 2017

Statistical Methods and Bayesian Inference参考文献 22被引用 8

一句话总结

本文提出了变分贝叶斯不可计算对数似然（VBILL），一种在大数据和大面板数据模型中进行贝叶斯推断的计算高效方法，其中似然函数不可计算，但可获得对数似然梯度的无偏估计。通过利用数据子采样和MapReduce框架，VBILL在可控的蒙特卡洛误差范围内实现了精确推断，显著提升了现有变分贝叶斯和伪边缘MCMC方法的收敛性和稳定性。

ABSTRACT

Variational Bayes (VB) is a popular estimation method for Bayesian inference. However, most existing VB algorithms are restricted to cases where the likelihood is tractable, which precludes their use in many important situations. Tran et al. (2017) extend the scope of application of VB to cases where the likelihood is intractable but can be estimated unbiasedly, and name the method Variational Bayes with Intractable Likelihood (VBIL). This paper presents a version of VBIL, named Variational Bayes with Intractable Log-Likelihood (VBILL), that is useful for cases as Big Data and Big Panel Data models, where unbiased estimators of the gradient of the log-likelihood are available. We demonstrate that such estimators can be easily obtained in many Big Data applications. The proposed method is exact in the sense that, apart from an extra Monte Carlo error which can be controlled, it is able to produce estimators as if the true likelihood, or full-data likelihood, is used. In particular, we develop a computationally efficient approach, based on data subsampling and the MapReduce programming technique, for analyzing massive datasets which cannot fit into the memory of a single desktop PC. We illustrate the method using several simulated datasets and a big real dataset based on the arrival time status of U. S. airlines.

研究动机与目标

• 解决标准变分贝叶斯（VB）方法在现代大数据和大面板数据应用中因需要可计算似然函数而存在的局限性。
• 将VB扩展至似然函数不可计算但可高效计算对数似然梯度无偏估计的场景。
• 开发一种方法，在确保大规模数据集计算可扩展性的同时，保持后验推断的精确性（仅受可控蒙特卡洛误差影响）。
• 通过结合VB的效率与PMMH的精确性，克服伪边缘梅特罗波利斯-黑斯廷斯（PMMH）在大数据场景下混合性差和计算成本高的问题。

提出的方法

• VBILL利用通过数据子采样导出的对数似然梯度无偏估计，引导变分推断的优化过程。
• 该方法最小化与标准VB相同的Kullback-Leibler散度，确保在蒙特卡洛误差趋近于零的极限下，近似结果为精确。
• 通过利用Fisher恒等式，即使在具有不可计算积分的模型（如混合效应面板模型）中，也能推导出无偏梯度估计。
• 采用MapReduce编程范式实现该方法，以支持分布式、内存高效的处理，适用于无法存储在单台机器上的大规模数据集。
• VBILL将梯度信息整合到变分下界随机优化过程中，提升了收敛速度和稳定性。
• 通过模拟和真实世界航空到达时间数据集验证了该方法，结果表明其具备良好的可扩展性和准确性。

实验结果

研究问题

• RQ1 能否在保持后验近似精确性的前提下，将变分贝叶斯扩展至似然函数不可计算的模型？
• RQ2 在大数据和大面板数据模型中，如何高效构建对数似然梯度的无偏估计？
• RQ3 与标准VBIL相比，将梯度信息整合到变分推断中是否能提升收敛速度和稳定性？
• RQ4 所提出的方法能否扩展至超出单台机器内存容量的海量数据集？
• RQ5 在高维、似然函数不可计算的设定下，VBILL与PMMH和标准VB相比，在准确性和计算效率方面表现如何？

主要发现

• VBILL在可控蒙特卡洛误差范围内实现了精确推断，意味着后验近似精度等同于使用完整数据似然时的精度。
• 通过将梯度信息整合到变分优化过程中，该方法显著提升了收敛速度和稳定性。
• 数据子采样使得在独立大数据和含随机效应的面板模型中，均可实现对数似然梯度的无偏估计。
• 基于MapReduce的实现支持对超出主内存容量的数据集进行可扩展分析，使真实世界大数据的实际推断成为可能。
• 在模拟数据和真实航空到达时间数据上的实证结果表明，VBILL在计算效率方面优于现有方法，同时保持了高精度。
• VBILL通过结合VB的效率与伪边缘方法的精确性，避免了在大数据场景下PMMH的高计算成本和混合性差的问题。