[论文解读] A Last-Step Regression Algorithm for Non-Stationary Online Learning

Edward Moroshko, Koby Crammer|arXiv (Cornell University)|Mar 15, 2013

Advanced Bandit Algorithms Research参考文献 35被引用 7

一句话总结

本文提出 LASER，一种针对非平稳在线回归（平方损失）的新型最后一步极小极大最优算法，旨在适应缓慢漂移的线性预测器。当总漂移为 $ T\nu $ 时，其遗憾界为 $ T\nu^{1/3} + \log(T) $，优于先前的 ARCOR 方法的 $ T\nu^{1/4}\log(T) $，并在平稳情况下表现出对数遗憾。

ABSTRACT

The goal of a learner in standard online learning is to maintain an average loss close to the loss of the best-performing single function in some class. In many real-world problems, such as rating or ranking items, there is no single best target function during the runtime of the algorithm, instead the best (local) target function is drifting over time. We develop a novel last-step minmax optimal algorithm in context of a drift. We analyze the algorithm in the worst-case regret framework and show that it maintains an average loss close to that of the best slowly changing sequence of linear functions, as long as the total of drift is sublinear. In some situations, our bound improves over existing bounds, and additionally the algorithm suffers logarithmic regret when there is no drift. We also build on the H_infinity filter and its bound, and develop and analyze a second algorithm for drifting setting. Synthetic simulations demonstrate the advantages of our algorithms in a worst-case constant drift setting.

研究动机与目标

• 解决标准在线学习算法仅与单一固定函数竞争的局限性，当真实目标函数随时间漂移时，此方法不足。
• 为在线回归开发一种极小极大最优算法，可适应在漂移下缓慢变化的线性函数序列。
• 在恒定或近似恒定漂移存在时，实现比现有方法（如 ARCOR）更紧的遗憾界。
• 为最后一步极小极大算法及其受 $ H_∞ $ 滤波启发的基于滤波器的变体提供理论保证。
• 通过合成实验验证，该算法在最坏情况恒定漂移设置下优于先前方法。

提出的方法

• 通过动态规划求解一个非平凡的优化问题，推导出在漂移下在线回归的最后一步极小极大最优预测器。
• 假设当前轮次为最终轮次，制定遗憾最小化问题，并使用反向递归递归计算最优预测。
• 引入一种正则化机制，隐式控制协方差矩阵 $ \mathbf{D}_t $ 的特征值，避免显式重置或投影。
• 当总漂移为 $ T\nu $ 且 $ \nu = o(1) $ 时，建立 $ O(T\nu^{1/3} + \log T) $ 的遗憾界，利用协方差矩阵的迹和行列式项。
• 提出第二种受 $ H_∞ $ 滤波启发的算法，同样在滤波中为极小极大最优，并推导出相应的遗憾界。
• 在算法实现中使用矩阵求逆和特征分解，尽管论文指出效率改进是未来方向。

实验结果

研究问题

• RQ1 能否将最后一步极小极大方法适配到具有漂移目标函数的非平稳在线学习？
• RQ2 当总漂移在轮次数 $ T $ 上为次线性时，可实现何种遗憾界？其与现有算法相比如何？
• RQ3 在无漂移情况下（即平稳情形），所提算法是否仍保持对数遗憾？
• RQ4 受 $ H_∞ $ 启发的算法在遗憾和自适应性方面与最后一步极小极大方法相比表现如何？
• RQ5 该算法能否对未知漂移水平保持鲁棒性，而无需事先知道漂移幅度？

主要发现

• 当总漂移为 $ T\nu $ 且 $ \nu = o(1) $ 时，LASER 算法实现累积遗憾界 $ O(T\nu^{1/3} + \log T) $，优于 ARCOR 的 $ O(T\nu^{1/4}\log T) $。
• 在平稳设置下（$ \nu = 0 $），该算法产生对数遗憾，与 Forster 原始的最后一步极小极大算法性能一致。
• 遗憾界通过演化协方差矩阵 $ \mathbf{D}_t $ 的迹和行列式项推导，借助正则化参数实现紧密控制。
• 受 $ H_∞ $ 启发的算法提供了另一种极小极大公式化，具有相近的遗憾界，揭示了滤波与漂移下在线学习之间的联系。
• 合成仿真结果证实，LASER 在最坏情况恒定漂移场景下优于基线算法，验证了理论优势。
• 该算法避免了显式协方差重置或权重向量投影，因此比 ARCOR 或 CR-RLS 等方法更简单，同时保持了强大的理论保证。