[论文解读] A Variational Bayesian State-Space Approach to Online Passive-Aggressive Regression

Arnold Salas, Stephen Roberts+1 more|arXiv (Cornell University)|Sep 8, 2015

Machine Learning and ELM参考文献 21被引用 4

一句话总结

本文提出了一种新颖的变分贝叶斯状态空间框架，用于在线被动-攻击回归，实现了概率预测和自动超参数调优。通过将PA回归建模为贝叶斯线性高斯状态空间模型，并应用在线变分推理方案，该方法在真实世界时间序列（包括尼罗河水位、风速和金融配对交易数据）上的预测性能优于标准卡尔曼滤波。

ABSTRACT

Online Passive-Aggressive (PA) learning is a class of online margin-based algorithms suitable for a wide range of real-time prediction tasks, including classification and regression. PA algorithms are formulated in terms of deterministic point-estimation problems governed by a set of user-defined hyperparameters: the approach fails to capture model/prediction uncertainty and makes their performance highly sensitive to hyperparameter configurations. In this paper, we introduce a novel PA learning framework for regression that overcomes the above limitations. We contribute a Bayesian state-space interpretation of PA regression, along with a novel online variational inference scheme, that not only produces probabilistic predictions, but also offers the benefit of automatic hyperparameter tuning. Experiments with various real-world data sets show that our approach performs significantly better than a more standard, linear Gaussian state-space model.

研究动机与目标

• 解决确定性在线被动-攻击（PA）回归的局限性，其缺乏不确定性量化且对固定超参数敏感。
• 开发PA回归的贝叶斯状态空间形式，实现概率预测和自适应调优的超参数。
• 建立在线变分推理与线性高斯状态空间模型背景下流式变分贝叶斯之间的联系。
• 与标准卡尔曼滤波相比，展示在非平稳和大规模时间序列数据上更优的预测性能。

提出的方法

• 将PA回归算法重新表述为贝叶斯线性高斯状态空间模型（LGSSM），其中权重向量随时间演化并受过程噪声影响。
• 开发一种新颖的在线变分推理方案，以增量方式近似模型参数和潜在状态的后验分布。
• 将超参数（如噪声精度、过程方差）视为具有共轭先验的随机变量，通过边缘化实现自动调优。
• 推理过程基于流式变分贝叶斯，实现高效、顺序更新，无需存储历史数据。
• 模型采用状态转移模型，其中权重向量作为随机游走演化，观测模型通过线性函数将输入与预测关联。
• 算法通过在每个时间步使用从变分下界推导出的闭式更新，更新充分统计量和变分参数，实现在线学习。

实验结果

研究问题

• RQ1 在线被动-攻击回归的贝叶斯状态空间解释是否能提升不确定性量化和预测性能？
• RQ2 在线变分推理如何适配贝叶斯LGSSM设置以实现自动超参数调优？
• RQ3 所提方法在非平稳和大规模时间序列上的预测精度是否优于标准卡尔曼滤波？
• RQ4 该模型是否能在无需人工重新配置的情况下有效捕捉数据分布的变化（如变化点）？

主要发现

• 在尼罗河水位数据集上，ADA-BYPASS的RMSE为0.72 cm，显著低于SKF基线的0.85 cm。
• 在同一数据集上，ADA-BYPASS的预测对数似然为-754.2，而SKF为-971.78，表明模型校准更优。
• 在风速数据集上，ADA-BYPASS的RMSE为0.6 m/s，优于SKF的0.64 m/s，对数似然分别为-24,971.75与-30,140.04。
• 在GDX-GLD ETF配对套利中，ADA-BYPASS的夏普比率为1.12，高于SKF的0.7，最大回撤分别为14.61%与73.05%。
• 最大回撤持续时间从567天减少至375个交易日，表明风险暴露更稳定。
• 该方法对分布漂移（如尼罗河数据中约公元720–722年假设的变化点）表现出鲁棒性，无需手动调整超参数。