[论文解读] Combining Adversarial Guarantees and Stochastic Fast Rates in Online Learning

Wouter M. Koolen, Peter Grünwald+1 more|arXiv (Cornell University)|May 20, 2016

Advanced Bandit Algorithms Research被引用 22

一句话总结

本文表明，Squint 和 MetaGrad 等在线学习算法通过利用自动适应 Bernstein 条件参数 κ ∈ [0,1] 的二阶个体序列 regret 保证，在随机环境中实现了快速 regret 率。关键贡献在于证明了这些算法在满足温和随机假设下，其期望和高概率下的 regret 率均达到 T^{(1−κ)/(2−κ)} 阶，与最优快速率一致。

ABSTRACT

We consider online learning algorithms that guarantee worst-case regret rates in adversarial environments (so they can be deployed safely and will perform robustly), yet adapt optimally to favorable stochastic environments (so they will perform well in a variety of settings of practical importance). We quantify the friendliness of stochastic environments by means of the well-known Bernstein (a.k.a. generalized Tsybakov margin) condition. For two recent algorithms (Squint for the Hedge setting and MetaGrad for online convex optimization) we show that the particular form of their data-dependent individual-sequence regret guarantees implies that they adapt automatically to the Bernstein parameters of the stochastic environment. We prove that these algorithms attain fast rates in their respective settings both in expectation and with high probability.

研究动机与目标

• 弥合在线学习中对抗鲁棒性与随机自适应性之间的鸿沟。
• 证明二阶 regret 保证可自动适应 Bernstein 条件的参数 κ。
• 在温和随机假设下，为 Squint 和 MetaGrad 等算法建立期望与高概率下的快速 regret 率。
• 通过中心条件与 Bernstein 条件统一分析在线学习中的快速率。

提出的方法

• 以 Squint（Hedge 设置）和 MetaGrad（OCO）的二阶个体序列 regret 保证为基础。
• 应用 Bernstein 条件（或广义 Tsybakov 边际条件）通过参数 κ ∈ [0,1] 衡量随机友好性。
• 将中心条件作为有界损失下 Bernstein 条件的等价刻画。
• 引入归一化累积量生成函数 ǫ(η) 以控制鞅型二阶项。
• 推导一个改进的指数不等式（引理 8），将超额损失的平方与修正的指数矩联系起来。
• 通过利用 Bernstein 条件对 ǫ(2γ) 进行 γ 的多项式有界，调节学习率参数 γ 以优化最终 regret 边界。

实验结果

研究问题

• RQ1 在线学习算法能否在保持最坏情况鲁棒性的同时，适应有利的随机环境？
• RQ2 在参数 κ 的 Bernstein 条件下，二阶 regret 保证是否意味着快速率？
• RQ3 快速 regret 率是否不仅可在期望下建立，也可在高概率下建立？
• RQ4 在有界损失下，中心条件是否等价于 Bernstein 条件？该等价性在分析中如何被利用？
• RQ5 Squint 和 MetaGrad 等算法的自适应行为能否被形式化地与 Bernstein 参数 κ 关联？

主要发现

• 在 Bernstein 条件下，Squint 和 MetaGrad 在期望和高概率下均实现 T^{(1−κ)/(2−κ)} 阶的 regret 率。
• 当 κ ∈ [0,1] 时，regret 边界为 O(T^{(1−κ)/(2−κ)})，在 κ=0 时恢复 √T 最坏情况率，在 κ=1 时达到双重对数率。
• 分析表明，二阶 regret 保证可自动适应 Bernstein 参数 κ，且无需事先知晓数据分布。
• 通过利用 Bernstein 条件与中心条件的等价性，借助归一化累积量生成函数 ǫ(η) 控制二阶项。
• 改进的指数不等式（引理 8）使对 regret 分解中二次项的控制更加紧密。
• 通过调节参数 γ 优化最终 regret 边界，从而实现对 κ 和 KT（算法特定复杂度项）的紧密依赖。