[论文解读] A Local Regret in Nonconvex Online Learning

Sergül Aydöre, Lee H. Dicker+1 more|arXiv (Cornell University)|Nov 13, 2018

Advanced Bandit Algorithms Research参考文献 5被引用 3

一句话总结

本文提出了一种非凸在线学习中的新型局部遗憾定义，强调校准性和近期梯度，与Hazan的方法不同，其重点在于即时预测性能。在特定条件下，该方法证明了对数遗憾界，为具有非凸损失函数的预测模型提供了更具可解释性和理论基础的度量。

ABSTRACT

We consider an online learning process to forecast a sequence of outcomes for nonconvex models. A typical measure to evaluate online learning algorithms is regret but such standard definition of regret is intractable for nonconvex models even in offline settings. Hence, gradient based definition of regrets are common for both offline and online nonconvex problems. Recently, a notion of local gradient based regret was introduced. Inspired by the concept of calibration and a local gradient based regret, we introduce another definition of regret and we discuss why our definition is more interpretable for forecasting problems. We also provide bound analysis for our regret under certain assumptions.

研究动机与目标

• 通过提出更具可解释性的局部遗憾度量，解决非凸在线学习中全局遗憾的不可计算性问题。
• 将校准概念整合到非凸预测问题的遗憾分析中。
• 在在线学习的标准假设下，为所提出的遗憾提供理论边界。
• 推动开发能够最小化新遗憾定义的高效算法。

提出的方法

• 基于梯度方向与方向扰动之间内积的w-局部遗憾，捕捉局部预测稳定性。
• 将遗憾定义为大小为w的滑动窗口内方向梯度乘积平均值的平方范数。
• 使用泰勒近似和投影算子对参数空间中的扰动进行建模，确保在凸集K内的可行性。
• 采用递减学习率ηt = η/√t的梯度下降法，以保证收敛性并推导遗憾界。
• 利用涉及梯度范数、步长和Lipschitz常数的不等式推导理论边界。
• 分析三种情形：固定窗口下的恒定学习率、全历史窗口下的递减学习率，以及固定窗口下的递减学习率。

实验结果

研究问题

• RQ1 如何为非凸在线学习，特别是在预测场景中，定义更具可解释性的遗憾度量？
• RQ2 所提出的遗憾在可解释性和对当前性能的关注方面，相较于Hazan的基于梯度的局部遗憾有何改进？
• RQ3 在何种条件下，所提出的遗憾随时间T呈现次线性或对数增长？
• RQ4 引入校准概念如何影响遗憾度量的理论性质？

主要发现

• 当采用递减学习率（ηt = η/√t）和全历史窗口（w = t）时，所提出的遗憾达到O(log T)的对数边界。
• 对于固定窗口大小w和递减学习率，遗憾随T呈二次增长，但通过增大w可使其变为次线性。
• 当采用恒定学习率和固定窗口时，遗憾被限制在O(T / w²)内，当w随T增长时，该边界变为次线性。
• 理论分析表明，内积项∑⟨Du(xs), ∇fs(xs)⟩有下界，其表达式涉及M、G和η，从而支持遗憾边界的推导。
• 边界推导依赖于选择与累积梯度对齐的最优方向u，从而对遗憾表达式实现紧密控制。
• 本文推测，最小化该新遗憾的算法可能更高效，且更适合非凸在线预测任务。