[论文解读] Efficient Online Hyperparameter Optimization for Kernel Ridge Regression with Applications to Traffic Time Series Prediction

Hongyuan Zhan, Gabriel dos Passos Gomes+3 more|arXiv (Cornell University)|Nov 1, 2018

Advanced Bandit Algorithms Research参考文献 16被引用 5

一句话总结

本文提出了一种用于核岭回归的在线超参数学习（OHL）算法，可在流式交通时间序列预测中实现高效、自适应的超参数调优。通过利用来自流式数据的自适应超梯度更新，OHL 相较于离线方法（如 HOAG）将计算时间减少了高达 7 倍，同时保持或提升了预测精度。

ABSTRACT

Computational efficiency is an important consideration for deploying machine learning models for time series prediction in an online setting. Machine learning algorithms adjust model parameters automatically based on the data, but often require users to set additional parameters, known as hyperparameters. Hyperparameters can significantly impact prediction accuracy. Traffic measurements, typically collected online by sensors, are serially correlated. Moreover, the data distribution may change gradually. A typical adaptation strategy is periodically re-tuning the model hyperparameters, at the cost of computational burden. In this work, we present an efficient and principled online hyperparameter optimization algorithm for Kernel Ridge regression applied to traffic prediction problems. In tests with real traffic measurement data, our approach requires as little as one-seventh of the computation time of other tuning methods, while achieving better or similar prediction accuracy.

研究动机与目标

• 解决在线交通流预测系统中周期性超参数重新调优带来的高计算成本问题。
• 克服现有离线超参数优化方法在处理流式数据时的局限性。
• 开发一种在线、计算高效的算法，能够动态适应数据分布的变化。
• 在计算开销极小的前提下，实现实时交通预测的高精度。
• 使机器学习模型能够在频繁更新数据的交通管理运营系统中实现实际部署。

提出的方法

• 提出一种在线超参数学习（OHL）算法，通过使用来自流式数据的自适应超梯度估计，对超参数执行单次投影梯度更新。
• 使用流式验证集提取超梯度信息，而无需完整重训练，从而相比完整网格搜索或迭代优化方法显著降低计算成本。
• 在每次模型重训练之前应用 OHL 更新，实现实时动态适应不断演变的数据模式。
• 利用核岭回归的结构，通过闭式解高效计算超梯度。
• 将 OHL 集成到滚动预测协议中，即每 n 个时间步更新一次超参数，每 m 个时间步重新训练一次模型。
• 改进超梯度计算以处理超参数与预测误差之间的非凸关系，从而在非平稳环境中实现稳健性能。

实验结果

研究问题

• RQ1 能否使在线超参数优化在计算效率上足够高，以实现在交通时间序列预测中的实时部署？
• RQ2 与 HOAG 或网格搜索等离线方法相比，在线超参数学习方法在精度和速度方面的表现如何？
• RQ3 来自流式数据的自适应超梯度更新是否能优于静态或周期性调优的超参数，在非平稳交通数据中表现更优？
• RQ4 在使用在线与离线超参数调优时，计算效率与预测精度之间的权衡如何？
• RQ5 与在固定验证集上进行离线优化相比，在线超参数自适应是否能带来对未来的更好泛化能力？

主要发现

• OHL 在 13 个交通检测器上将平均计算时间减少至 20 分钟，相较 HOAG（138 分钟）实现了 6.9 倍的加速。
• OHL 实现了与 HOAG 和 RDS 相当或更优的预测精度，相较于固定超参数，RMSE 最高改善达 16%。
• 在多个检测器上，OHL 随时间推移的表现优于 HOAG，表明在线自适应可减轻对历史验证数据的过拟合。
• OHL 的预测精度始终优于或与静态超参数调优相当，多个检测器的平均 RMSE 改善达 10–15%。
• 该算法在保持低计算成本的同时，能够及时适应变化的交通模式，适用于实时部署。
• OHL 方法实现了最优局部遗憾，表明其在非平稳环境中具有强大的理论性能保证。