[论文解读] Efficient Methods for Non-stationary Online Learning

Peng Zhao, Yanfeng Xie+2 more|arXiv (Cornell University)|Sep 16, 2023

Advanced Bandit Algorithms ResearchDecision Sciences被引用 3

一句话总结

该论文提出了一种针对非平稳环境的高效在线学习算法，通过将可行集投影次数从 O(log T) 减少到每轮仅一次，显著降低了计算成本。通过利用一种新颖的无参数学习归约机制，该方法仅需每轮一次梯度查询和一次函数评估，即可实现最优的动态 regret 和自适应 regret 边界，相较于现有的两层集成方法在效率上实现显著提升。

ABSTRACT

Non-stationary online learning has drawn much attention in recent years. In particular, dynamic regret and adaptive regret are proposed as two principled performance measures for online convex optimization in non-stationary environments. To optimize them, a two-layer online ensemble is usually deployed due to the inherent uncertainty of non-stationarity, in which multiple base-learners are maintained and a meta-algorithm is employed to track the best one on the fly. However, the two-layer structure raises concerns about computational complexity -- such methods typically maintain $O(\log T)$ base-learners simultaneously for a $T$-round online game and thus perform multiple projections onto the feasible domain per round, which becomes the computational bottleneck when the domain is complicated. In this paper, we present efficient methods for optimizing dynamic regret and adaptive regret that reduce the number of projections per round from $O(\log T)$ to $1$. The proposed algorithms require only one gradient query and one function evaluation at each round. Our technique hinges on the reduction mechanism developed in parameter-free online learning and requires non-trivial modifications for non-stationary online methods. Furthermore, we study an even stronger measure, namely "interval dynamic regret", and reduce the number of projections per round from $O(\log^2 T)$ to $1$ for minimizing it. Our reduction demonstrates broad generality and applies to two important applications: online stochastic control and online principal component analysis, resulting in methods that are both efficient and optimal. Finally, empirical studies verify our theoretical findings.

研究动机与目标

• 解决现有两层在线集成方法在非平稳在线学习中计算成本过高的问题。
• 将每轮投影次数从 O(log T) 降低至 1，同时保持最优 regret 保证。
• 为在线凸优化中的动态 regret 和自适应 regret 开发高效算法。
• 在仅需一次梯度查询和一次函数评估的前提下实现最优 regret 边界，计算开销极低。
• 通过非平凡的算法改进，将无参数学习技术扩展至非平稳设置。

提出的方法

• 该方法采用无参数在线学习的归约机制，设计了一种用于非平稳在线凸优化的单投影算法。
• 通过使用时变正则化项和精心调校的学习率调度策略，实现 regret 与稳定性的平衡。
• 算法每轮仅维护一个活跃学习器，避免了传统两层集成方法中需维护 O(log T) 个基学习器的复杂性。
• 其关键创新在于将无参数学习中的自信心学习率调节机制适配至非平稳设置。
• 该方法确保 regret 边界与路径长度 PT 和函数变化量的尺度最优匹配，达到已知理论极限。
• 理论分析依赖于处理时变正则化项的新颖引理，以及对累积梯度的有界性分析。

实验结果

研究问题

• RQ1 我们能否设计出在非平稳环境中每轮仅需一次投影的在线学习算法？
• RQ2 是否可能在极低计算开销下实现最优的动态与自适应 regret 边界？
• RQ3 无参数学习技术如何适配至非平稳在线凸优化？
• RQ4 在非平稳设置中，为维持最优 regret，最少需要多少次梯度查询与函数评估？
• RQ5 是否可以将两层集成结构替换为更高效的单学习器框架，同时不损失 regret 性能？

主要发现

• 所提算法将每轮投影次数从 O(log T) 降低至 1，显著降低了在复杂可行域中的计算成本。
• 对于一般凸函数，该方法实现了动态 regret 边界 O(√(T(1 + PT)))，达到最佳已知理论保证。
• 对于光滑函数，该算法实现了小损失动态 regret 边界 O(√((FT + PT)(1 + PT)))，优于先前工作。
• 该算法每轮仅需一次梯度查询和一次函数评估，效率极高。
• 实验评估证实，理论上的性能优势在实践中得以实现，表现出优异的 regret 表现与极低的计算成本。
• 从无参数学习中引入的归约技术构建了一个简洁统一的框架，避免了维护多个基学习器的复杂性。