[论文解读] Bayesian Models of Data Streams with Hierarchical Power Priors

Andrés R. Masegosa, Thomas D. Nielsen+4 more|arXiv (Cornell University)|Jul 7, 2017

Data Stream Mining Techniques参考文献 16被引用 11

一句话总结

本文提出了一种用于流数据的贝叶斯框架，通过分层幂先验（hierarchical power priors）建模概念漂移，利用完全贝叶斯方法实现自适应学习率。该方法提出了一种新颖的变分推断方法，在保持计算效率的同时处理非共轭先验，在包含突发和渐变漂移的真实世界数据流上优于现有方法。

ABSTRACT

Making inferences from data streams is a pervasive problem in many modern data analysis applications. But it requires to address the problem of continuous model updating and adapt to changes or drifts in the underlying data generating distribution. In this paper, we approach these problems from a Bayesian perspective covering general conjugate exponential models. Our proposal makes use of non-conjugate hierarchical priors to explicitly model temporal changes of the model parameters. We also derive a novel variational inference scheme which overcomes the use of non-conjugate priors while maintaining the computational efficiency of variational methods over conjugate models. The approach is validated on three real data sets over three latent variable models.

研究动机与目标

• 解决数据流中底层分布可能随时间变化时的持续模型更新挑战。
• 开发一种能够捕捉突发和渐变概念漂移的方法，与以往仅关注缓慢变化的方法不同。
• 克服在流式环境中非共轭先验下贝叶斯推断的计算不可行性。
• 提供完全贝叶斯的公式化方法，避免手动调整遗忘因子等超参数。
• 通过变分近似实现大规模流数据的可扩展且高效的推断。

提出的方法

• 引入分层幂先验（HPPs），在学习率（ρ）上设定先验，使其能根据数据流变化动态调整。
• 将共轭指数族模型扩展至包含时变全局参数 βt，通过时间动态显式建模漂移。
• 提出一种新颖的变分下界以逼近边缘似然，实现在非共轭先验下的高效推断。
• 采用坐标上升变分推断算法，通过均值场分解优化该下界。
• 利用 ρ(i)t 的后验期望量化每个参数的漂移程度，实现对突发和渐变变化的检测。
• 将该方法作为开源 AMIDST 工具箱的一部分发布，支持可扩展的概率机器学习。

实验结果

研究问题

• RQ1 如何设计贝叶斯模型以检测并适应数据流中的突发和渐变概念漂移？
• RQ2 通过分层先验实现学习率的完全贝叶斯公式化，是否能优于启发式或固定遗忘因子的流式推断方法？
• RQ3 在流式环境中，变分推断在多大程度上可实现高效且准确地处理非共轭先验？
• RQ4 推断出的漂移概率（E[ρ(i)t]）在不同数据集上是否能真实反映现实世界的数据动态？
• RQ5 与现有方法相比，该方法是否能减少对人工超参数调优的依赖？

主要发现

• 在 GPS 数据集上，SVB-MHPP 方法取得了最佳测试边缘对数似然（TMLL），TMLL 为 -1.74，优于 SVB-HPP 和 SVB-PP（ρ = 0.99）
• 在电力数据集上，SVB-MHPP 的 TMLL 为 -19.40，显著优于 SVB-PP（ρ = 0.9，TMLL: -19.84）和 PVB（ν = 0.1）
• 在金融数据集上，SVB-MHPP 的 TMLL 为 -19.40，仅次于 SVB-PP（ρ = 0.9，TMLL: -19.05）
• 该方法有效捕捉了复杂的漂移模式：在 GPS 数据中，E[ρ(i)t] 显示了随时间变化的稳定参数（ρ > 0.9）和高度漂移参数（ρ ≤ 0.05）
• 基线方法如 SVB-PP 和 PVB 的性能对超参数（如 ρ 或 ν）高度敏感，当调优不当时性能显著下降
• 通过分层先验实现学习率的完全贝叶斯公式化，消除了手动调优的需求，在不同数据特征下均表现出鲁棒性