[论文解读] Bayesian Conditional Density Filtering

Shaan Qamar, Rajarshi Guhaniyogi+1 more|arXiv (Cornell University)|Jan 15, 2014

Gaussian Processes and Bayesian Inference参考文献 38被引用 15

一句话总结

本文提出贝叶斯条件密度滤波（C-DF），一种可扩展的在线贝叶斯推断方法，通过使用代理条件 sufficient 统计量（SCSS）实现在流式高维数据环境下的高效 MCMC 采样。通过传播 SCSS 而非原始数据，C-DF 在保持后验近似准确性和随数据累积收敛至真实后验的同时，降低了内存和计算成本。

ABSTRACT

We propose a Conditional Density Filtering (C-DF) algorithm for efficient online Bayesian inference. C-DF adapts MCMC sampling to the online setting, sampling from approximations to conditional posterior distributions obtained by propagating surrogate conditional sufficient statistics (a function of data and parameter estimates) as new data arrive. These quantities eliminate the need to store or process the entire dataset simultaneously and offer a number of desirable features. Often, these include a reduction in memory requirements and runtime and improved mixing, along with state-of-the-art parameter inference and prediction. These improvements are demonstrated through several illustrative examples including an application to high dimensional compressed regression. Finally, we show that C-DF samples converge to the target posterior distribution asymptotically as sampling proceeds and more data arrives.

研究动机与目标

• 解决在全量数据存储和似然评估不可行的大数据环境下，传统 MCMC 方法计算不可行的问题。
• 通过将 MCMC 适配于顺序数据到达的场景，实现在高维流式数据上的高效在线贝叶斯推断。
• 在保持后验准确性的同时降低内存和运行时间成本，并改善大规模贝叶斯模型中 MCMC 的混合性能。
• 建立 C-DF 样本在更多数据到达时收敛至真实后验的理论保证。
• 通过变分近似和代理统计量，将 MCMC 的可扩展性拓展至高维参数空间和复杂似然模型。

提出的方法

• C-DF 使用代理条件充分统计量（SCSS）对数据和参数估计进行汇总，避免存储完整数据集。
• 它在每个时间步使用定点迭代法更新条件分布的近似后验参数。
• 该方法将参数划分为若干组，通过从前一时间点传播的 SCSS 逐组迭代更新。
• 对于每个数据分片，它更新如 ${\boldsymbol{C}}_{1,1}^{t}$、${\boldsymbol{C}}_{1,2}^{t}$ 和 ${\boldsymbol{C}}_{1,3}^{t}$ 等充分统计量，以保持后验更新所需的充分信息。
• 它采用变分近似定义条件后验，实现在每一步无需完整似然评估的高效计算。
• 该算法在主模型的均值和协方差参数与逆伽马和逆高斯先验的超参数之间交替更新。

实验结果

研究问题

• RQ1 MCMC 采样能否在不存储完整数据集的前提下适应在线流式数据环境？
• RQ2 代理条件充分统计量（SCSS）能否有效替代完整数据处理，以减少贝叶斯推断中的内存和计算成本？
• RQ3 随着数据随时间累积，C-DF 算法是否能保持收敛至真实后验？
• RQ4 与标准 MCMC 或子采样方法相比，C-DF 在高维回归模型中是否能实现更优的混合性能和准确性？
• RQ5 在压缩回归及其他高维流式数据场景下，C-DF 的表现如何？

主要发现

• C-DF 通过传播 SCSS 而非原始数据或完整充分统计量，显著降低了内存和运行时间需求。
• 与标准 MCMC 相比，C-DF 在高维模型中实现了更优的 MCMC 混合性能。
• 随着更多数据到达，C-DF 样本渐近收敛至真实后验分布，确保了理论有效性。
• 实验结果表明，C-DF 在参数推断和预测方面达到最先进性能，尤其在高维压缩回归中表现突出。
• 即使在小规模、顺序处理的数据分片下，该方法仍保持高精度，展现出对流式数据的鲁棒性。
• 对 SCSS 的定点迭代实现了无需完整似然评估的高效参数更新，使其可扩展至大规模数据集。