[论文解读] Light and Widely Applicable MCMC: Approximate Bayesian Inference for Large Datasets

Florian Maire, Nial Friel+1 more|arXiv (Cornell University)|Mar 13, 2015

Markov Chains and Monte Carlo Methods参考文献 39被引用 3

一句话总结

本文提出了一种新型的近似贝叶斯推断方法——轻量且广泛适用的MCMC（LWA-MCMC），该方法使用固定、由数据驱动的观测子集来模拟一个带有噪声的Metropolis-Hastings核。通过利用摘要统计量指导子采样，LWA-MCMC在保持强大理论保证的同时实现了显著的计算节省，并在大规模数据集上，尤其是在i.i.d.指数族模型中，优于现有方法。

ABSTRACT

Light and Widely Applicable (LWA-) MCMC is a novel approximation of the Metropolis-Hastings kernel targeting a posterior distribution defined on a large number of observations. Inspired by Approximate Bayesian Computation, we design a Markov chain whose transition makes use of an unknown but fixed, fraction of the available data, where the random choice of sub-sample is guided by the fidelity of this sub-sample to the observed data, as measured by summary (or sufficient) statistics. LWA-MCMC is a generic and flexible approach, as illustrated by the diverse set of examples which we explore. In each case LWA-MCMC yields excellent performance and in some cases a dramatic improvement compared to existing methodologies.

研究动机与目标

• 解决在全似然评估成本过高、难以承受的情况下，标准MCMC方法在大规模数据集上计算不可行的问题。
• 开发一种通用、灵活且广泛适用的MCMC框架，保持Metropolis-Hastings算法的简洁性，同时实现对大数据的可扩展性。
• 通过仅在每次迭代中使用数据的固定比例来降低计算成本，利用摘要统计量指导的子采样保真度来实现。
• 通过限制真实后验与子采样诱导的近似后验之间的Kullback-Leibler散度，确保理论上的有效性。
• 证明LWA-MCMC在性能上优于现有带有噪声的MCMC方法，后者通常需要较大的子样本才能在接受决策中获得置信度。

提出的方法

• LWA-MCMC通过使用从数据中随机选取的固定大小子集 $ U $ 来近似全数据似然比，构建一个带有噪声的Metropolis-Hastings核，其中 $ |U| = n $。
• 子集 $ U $ 的选择基于其与全数据的保真度，通过其摘要统计量 $ \sum_{k \in U} S(Y_k) $ 与全数据充分统计量 $ \sum_{k=1}^N S(Y_k) $ 的接近程度来衡量。
• 接受概率通过子采样似然比计算，形成一个近似真实后验 $ \pi $ 的带有噪声的转移核。
• 该方法通过最小化 KL 散度 $ \text{KL}(\pi \| \tilde{\pi}_U) $ 确保马尔可夫链的平稳分布接近真实后验，该散度使用集中不等式和矩不等式进行有界控制。
• 理论分析表明，最小化 $ \| \xi_U \| = \left\| \frac{1}{n} \sum_{k \in U} S(Y_k) - \frac{1}{N} \sum_{k=1}^N S(Y_k) \right\| $ 可导致近似误差的更紧界。
• 该框架适用于指数族模型，并可通过充分统计量自然推广至非i.i.d.场景。

实验结果

研究问题

• RQ1 能否使用固定、由数据驱动的观测子集来构建适用于大型贝叶斯模型的有效且可扩展的MCMC采样器？
• RQ2 如何指导子采样以最小化真实后验与子采样后验之间的近似误差？
• RQ3 LWA-MCMC是否在不牺牲准确性的前提下，实现了比现有带有噪声的MCMC方法更高的计算效率？
• RQ4 在子采样条件下，该结果马尔可夫链的平稳分布能提供哪些理论保证？
• RQ5 该方法能否超越i.i.d.数据和指数族模型进行泛化？

主要发现

• LWA-MCMC通过每次迭代仅使用数据的固定小部分，实现了计算成本的显著降低，避免了处理全部 $ N $ 个观测值的需要。
• 该方法显著优于现有带有噪声的MCMC方法（如Korattikara等人，2014年；Bardenet等人，2014年），后者通常需要较大的子样本才能在决策中获得置信度。
• 理论分析表明，真实后验 $ \pi $ 与近似后验 $ \tilde{\pi}_U $ 之间的KL散度是有界的，且当子样本的摘要统计量接近全数据统计量时，该界被最小化。
• KL散度的界依赖于偏差 $ \| \xi_U \| $，通过子采样选择最小化该偏差可获得更紧的近似和更优的混合性能。
• 实证结果表明，该方法在参数估计和分类任务中表现优异，证实了其在真实世界大规模数据集上的实际应用价值。
• 该方法不仅适用于i.i.d.场景，还可通过适当的充分统计量推广至非指数族模型。