[论文解读] Leveraging Predictions in Smoothed Online Convex Optimization via Gradient-based Algorithms

Yingying Li, Na Li|arXiv (Cornell University)|Nov 25, 2020

Advanced Bandit Algorithms Research被引用 5

一句话总结

本文提出递推时域不精确梯度（RHIG），一种基于梯度的在线算法，用于平滑在线凸优化（SOCO），该算法利用多步前向预测，同时最小化长期预测误差的影响。RHIG将依赖限制在W步前向预测范围内，理论分析表明最优W值在环境变化与预测误差之间实现平衡，且远处预测误差对遗憾的影响呈指数衰减。

ABSTRACT

We consider online convex optimization with time-varying stage costs and additional switching costs. Since the switching costs introduce coupling across all stages, multi-step-ahead (long-term) predictions are incorporated to improve the online performance. However, longer-term predictions tend to suffer from lower quality. Thus, a critical question is: how to reduce the impact of long-term prediction errors on the online performance? To address this question, we introduce a gradient-based online algorithm, Receding Horizon Inexact Gradient (RHIG), and analyze its performance by dynamic regrets in terms of the temporal variation of the environment and the prediction errors. RHIG only considers at most $W$-step-ahead predictions to avoid being misled by worse predictions in the longer term. The optimal choice of $W$ suggested by our regret bounds depends on the tradeoff between the variation of the environment and the prediction accuracy. Additionally, we apply RHIG to a well-established stochastic prediction error model and provide expected regret and concentration bounds under correlated prediction errors. Lastly, we numerically test the performance of RHIG on quadrotor tracking problems.

研究动机与目标

• 解决在平滑在线凸优化（SOCO）中使用噪声大、长期预测时性能下降的挑战，其中预测误差会降低性能。
• 克服现有模型的局限性，即假设短期预测完美而长期成本具有对抗性，这与现实世界中预测质量下降的情况不符。
• 开发一种计算高效的基于梯度的算法，有效利用多步前向预测，而无需在每一步都进行完整的多阶段优化。
• 从时间环境变化和预测误差两方面分析遗憾界，为选择时域W提供理论依据。
• 在具有相关误差的随机预测误差模型下建立性能保证，包括期望遗憾和高概率浓度界限。

提出的方法

• 提出RHIG，一种基于梯度的递推时域算法，仅使用未来预测的最新W步，以避免过度依赖不准确的长期预测。
• 推导出依赖于环境时间变化$V_T$和前W步预测误差的动态遗憾界，其中k步前向误差的影响呈指数衰减。
• 引入具有相关结构的随机预测误差模型，推广先前工作，并在该模型下推导出期望遗憾和浓度界限。
• 采用类似李雅普诺夫的分析方法，引入参数$\alpha$、$L$、$h$和$\rho = 1 - \alpha/(4L)$，以界定遗憾并确保收敛性。
• 通过建模系统动力学和代价函数，将该算法应用于四旋翼飞行器跟踪问题，证明其在预测误差和意外扰动下的鲁棒性。
• 利用矩阵范数和随机向量浓度不等式，以高概率形式界定遗憾，其中衰减因子$\rho^k$反映了远处预测误差影响力的减弱。

实验结果

研究问题

• RQ1 在长期预测不准确的情况下，基于梯度的算法如何有效利用多步前向预测进行平滑在线凸优化？
• RQ2 使用更多预测（即更大的W）与避免日益不准确的长期预测带来的负面影响之间，最优权衡是什么？
• RQ3 预测误差——尤其是相关误差——如何影响SOCO中在线算法的性能？是否可以对此进行量化？
• RQ4 在现实预测误差模型下，计算高效的基于梯度的方法能否优于现有基于优化的算法（如AFHC和CHC）？
• RQ5 当预测具有噪声时，所提出的算法对环境中未预见的变化或冲击有多强的鲁棒性？

主要发现

• RHIG的遗憾界随预测步长$k$呈指数衰减，表明随着$k$增大，k步前向误差的影响逐渐减弱。
• 最优W值在环境变化$V_T$与预测误差之间实现平衡：当$V_T$较高时偏好更大的$W$，当预测误差较大时则偏好更小的$W$。
• 在随机预测误差模型下，期望遗憾和浓度界限均体现出长期预测误差相关性带来的指数衰减效应。
• 四旋翼飞行器跟踪的数值实验表明，RHIG在高预测误差条件下优于AFHC和CHC。
• RHIG对未预见的未来冲击表现出鲁棒性，在其他算法性能下降时仍能保持稳定表现。
• 理论遗憾界为$R(W) = \rho^W \frac{2L}{\alpha} C_1 T \log(2) + \mathbf{u}^T \mathbf{A}_W \mathbf{u}$，其中$\|\mathbf{A}_W\|_F$受随$\rho^t$衰减的项界定，证实了远处预测影响的减弱。