[论文解读] Combining Online Learning Guarantees

Ashok Cutkosky|arXiv (Cornell University)|Feb 24, 2019

Advanced Bandit Algorithms Research参考文献 25被引用 3

一句话总结

本文提出了一种简单而强大的元算法，通过将任意两个无参数在线学习算法的迭代值相加，组合出一个新算法，其遗憾（regret）不超过两个基线算法遗憾的最小值。该方法进一步扩展为一种通用的、安全的乐观在线学习框架，可适应多个提示序列，并在无约束设置下实现无维数、无参数的遗憾保证。

ABSTRACT

We show how to take any two parameter-free online learning algorithms with different regret guarantees and obtain a single algorithm whose regret is the minimum of the two base algorithms. Our method is embarrassingly simple: just add the iterates. This trick can generate efficient algorithms that adapt to many norms simultaneously, as well as providing diagonal-style algorithms that still maintain dimension-free guarantees. We then proceed to show how a variant on this idea yields a black-box procedure for generating optimistic online learning algorithms. This yields the first optimistic regret guarantees in the unconstrained setting and generically increases adaptivity. Further, our optimistic algorithms are guaranteed to do no worse than their non-optimistic counterparts regardless of the quality of the optimistic estimates provided to the algorithm.

研究动机与目标

• 开发一种黑箱方法，用于组合具有不同遗憾保证的在线学习算法，以在遗憾方面实现两者的最优表现。
• 实现在不事先知晓比较点或梯度范数的情况下，同时适应多种范数的无参数在线学习。
• 提出一种通用且安全的约化方法，用于生成乐观在线学习算法，即使提示质量较差，也能保持最坏情况下的性能。
• 将乐观在线学习扩展至无约束领域，而此前的方法仅限于有界领域。
• 提供一个统一框架，能够与事后最优的固定提示序列竞争，提升自适应能力。

提出的方法

• 核心技术是在每轮中通过将两个在线学习算法的迭代值相加来组合它们，从而得到一个新算法，其遗憾在点对点上被限制在两个独立遗憾的最小值以内。
• 该方法适用于任何在零点具有有界遗憾的无参数算法，从而实现无维数和范数自适应的保证。
• 对于乐观学习，本文提出一种约化方法，将任意自适应算法转换为乐观算法，使用关于提示的对偶优化方案。
• 该乐观算法使用代理损失函数，以最小化相对于最优提示序列的遗憾，利用在线凸优化生成自适应提示。
• 该方法的一个变体在提示选择过程中使用修改后的损失函数，以在无约束设置下收紧边界，用涉及内积的更精细表达式替代标准平方和。
• 该框架具有鲁棒性：即使提示质量任意差，遗憾也不会超过原始非乐观算法的遗憾。

实验结果

研究问题

• RQ1 我们能否将两个具有不同遗憾保证的在线学习算法组合成一个新算法，使其遗憾达到两者中的最小值？
• RQ2 我们能否设计一种通用的黑箱方法，用于生成对差提示具有安全性的乐观在线学习算法，并同时适应多个提示序列？
• RQ3 我们能否在保持无维数、无参数遗憾保证的前提下，将乐观在线学习扩展至无约束领域？
• RQ4 我们能否构建一种提示生成策略，使其与事后最优的固定提示序列竞争，从而提升自适应能力？
• RQ5 该框架能否用于推导新的遗憾界，例如在希尔伯特空间中推导经验伯努利边界？

主要发现

• 迭代值相加方法的遗憾被点对点最小值所限制，从而在无需事先知道最优算法的情况下，实现‘最佳世界’性能。
• 该方法生成的算法高效且能同时适应多种范数，保持无维数遗憾保证。
• 该算法的乐观变体实现了形式为 $ R_T(u) \leq O\left[B(u) \min\left(\sqrt{\sum \|g_t\|^2}, \sqrt{\sum \|g_t - h_t\|^2}\right)\right] $ 的遗憾界，优于先前结果。
• 在无约束设置下，边界进一步优化为 $ \sum \|g_t - h_t\|^2 - \|h_t\|^2 $，当梯度相关时可实现更紧的性能。
• 该算法在理论上是安全的：即使提示质量任意差，遗憾也不会超过原始非乐观算法的遗憾。
• 一种简单的提示生成方案，通过在损失 $ \ell_t(h) = \|g_t - h\|^2 $ 上使用在线学习，可实现与最优固定提示相当的遗憾，其形式为 $ \tilde{O}(\|u\|\sqrt{\sum \|g_t - \bar{g}\|^2}) $，将先前结果推广至无约束领域。