[论文解读] Improved Dynamic Regret for Non-degenerate Functions

Lijun Zhang, Tianbao Yang+3 more|arXiv (Cornell University)|Jan 1, 2017

Advanced Bandit Algorithms Research被引用 48

一句话总结

该论文通过引入平方路径长度作为比较序列的更紧致的正则性度量，改进了在线学习中的动态遗憾界。通过允许多个梯度查询，该方法在非退化函数（包括半强凸函数和自协融函数）上实现了改进的遗憾界，扩展了强凸性的范围。

ABSTRACT

Recently, there has been a growing research interest in the analysis of dynamic regret, which measures the performance of an online learner against a sequence of local minimizers. By exploiting the strong convexity, previous studies have shown that the dynamic regret can be upper bounded by the path-length of the comparator sequence. In this paper, we illustrate that the dynamic regret can be further improved by allowing the learner to query the gradient of the function multiple times, and meanwhile the strong convexity can be weakened to other non-degenerate conditions. Specifically, we introduce the squared path-length, which could be much smaller than the path-length, as a new regularity of the comparator sequence. When multiple gradients are accessible to the learner, we first demonstrate that the dynamic regret of strongly convex functions can be upper bounded by the minimum of the path-length and the squared path-length. We then extend our theoretical guarantee to functions that are semi-strongly convex or self-concordant. To the best of our knowledge, this is the first time that semi-strong convexity and self-concordance are utilized to tighten the dynamic regret.

研究动机与目标

• 通过利用多个梯度查询，改进在线学习中的动态遗憾界。
• 将强凸性的假设弱化为半强凸性和自协融性等非退化条件。
• 引入平方路径长度作为比较序列的比路径长度更紧致的正则性度量。
• 建立依赖于路径长度与平方路径长度最小值的更紧致的遗憾界。

提出的方法

• 引入平方路径长度作为比较序列的新正则性度量，其值可显著小于标准路径长度。
• 设计一种在线学习算法，每轮执行多个梯度查询，以提升对变化最小值点的适应性。
• 证明在强凸函数下，遗憾界依赖于路径长度与平方路径长度的最小值。
• 利用其曲率性质，将分析扩展至半强凸函数和自协融函数。
• 利用这些非退化函数的结构，推导出比以往更紧致的遗憾保证。

实验结果

研究问题

• RQ1 通过在在线学习中允许多个梯度查询，能否改进动态遗憾？
• RQ2 平方路径长度在约束动态遗憾方面与标准路径长度相比如何？
• RQ3 能否通过使用半强凸性等更弱的非退化条件，将遗憾界收紧至强凸性之外？
• RQ4 能否利用自协融性来改进在线优化中的动态遗憾？
• RQ5 在动态遗憾分析中，路径长度与平方路径长度之间最优权衡是什么？

主要发现

• 当允许多个梯度查询时，强凸函数的动态遗憾上界由路径长度与平方路径长度的最小值决定。
• 在许多实际场景中，平方路径长度显著小于路径长度，从而实现了更紧致的遗憾界。
• 所提出分析可扩展至半强凸函数，首次在动态遗憾设置中使用该条件建立了遗憾界。
• 对于自协融函数，该方法通过利用其曲率结构，实现了改进的遗憾保证。
• 本工作首次建立了结合多个梯度查询与强凸性之外的非退化函数类的遗憾界。