[论文解读] Doubly Robust Bayesian Inference for Non-Stationary Streaming Data with $β$-Divergences

Jeremias Knoblauch, Jack Jewson+1 more|arXiv (Cornell University)|Jun 6, 2018

Statistical Methods and Inference被引用 5

一句话总结

本文提出了首个基于β散度的鲁棒贝叶斯在线变点检测（BOCPD）算法，实现了非平稳流数据中双重鲁棒推断，具备线性时间与常数空间复杂度。通过合理优化β参数并采用可扩展的结构变分推断，该方法在真实世界数据上将误报变点检测率从90%以上降低至0%，实现了最先进性能。

ABSTRACT

We present the very first robust Bayesian Online Changepoint Detection algorithm through General Bayesian Inference (GBI) with $β$-divergences. The resulting inference procedure is doubly robust for both the parameter and the changepoint (CP) posterior, with linear time and constant space complexity. We provide a construction for exponential models and demonstrate it on the Bayesian Linear Regression model. In so doing, we make two additional contributions: Firstly, we make GBI scalable using Structural Variational approximations that are exact as $β o 0$. Secondly, we give a principled way of choosing the divergence parameter $β$ by minimizing expected predictive loss on-line. Reducing False Discovery Rates of CPs from more than 90% to 0% on real world data, this offers the state of the art.

研究动机与目标

• 开发首个用于非平稳流数据的鲁棒贝叶斯在线变点检测（BOCPD）算法。
• 在模型误设和异常值存在下，实现对模型参数与变点的双重鲁棒推断。
• 提出一种基于结构变分推断的可扩展推断框架，用于广义贝叶斯推断（GBI），在β → 0时为精确推断。
• 建立一种原则性、在线的β散度参数初始化与优化方法，以平衡鲁棒性与预测准确性。

提出的方法

• 提出一种基于广义贝叶斯推断（GBI）的新BOCPD框架，使用β散度替代Kullback-Leibler散度以实现鲁棒性。
• 在β → 0的极限下，采用结构变分推断（SVI）实现精确后验近似，从而实现具有线性时间与常数空间复杂度的可扩展推断。
• 引入一种方差减少的随机梯度下降（SGD）方案，以高效优化在线处理过程中的SVI目标。
• 开发一种在线β优化策略，通过有界绝对损失最小化期望预测损失，实现鲁棒性的动态调整。
• 将该方法应用于贝叶斯线性回归（BLR）和多变量向量自回归（VAR）模型，并通过预处理确保数值稳定性。
• 使用运行长度模型，先验h(rt) = 0.001，超参数µ₀ = 0，Σ₀ = 20I，a₀ = 1，b₀ = 25，以初始化推断过程。

实验结果

研究问题

• RQ1 基于β散度的广义贝叶斯推断能否在流数据中实现鲁棒、可扩展且双重鲁棒的变点检测？
• RQ2 如何使结构变分推断在在线设置中，于β → 0极限下兼具高效性与精确性？
• RQ3 是否存在一种原则性、在线的β参数选择与自适应方法，以平衡鲁棒性与预测性能？
• RQ4 所提出的方法能否在标准BOCPD因异常值而失效的真实世界数据中，降低误报变点检测？
• RQ5 在模型误设条件下，该鲁棒BOCPD与非鲁棒BOCPD在预测准确性与变点检测性能方面相比如何？

主要发现

• 该鲁棒BOCPD将真实世界空气质量数据中的误报变点检测率从90%以上降低至0%，显著优于标准BOCPD。
• 即使在数据中存在异常值的情况下，该方法仍保持高预测准确性，这一点在注入t分布噪声的多变量时间序列上得到验证。
• 在线β优化过程收敛迅速，在4,000个观测值内，βp变化小于0.002，βrld变化小于0.015，表明其稳定性良好。
• 结构变分推断方法在β → 0时能近乎完美地拟合真实后验分布，从而在极限下实现精确推断。
• βp的优化受数值稳定性约束，取ε = 1e-10，但算法仍能将βp驱动至更不鲁棒的值，表明其具有强大的在线自适应能力。
• 尽管所用模型（滞后长度1–3）少于非鲁棒基线模型（滞后长度1,5,6,7），该鲁棒模型仍实现了更优的预测性能与更少的误报。