[论文解读] ZigZag: A new approach to adaptive online learning

Dylan J. Foster, Alexander Rakhlin+1 more|arXiv (Cornell University)|Apr 13, 2017

Online Learning and Analytics被引用 3

一句话总结

本文提出了ZigZag，一种新型自适应在线学习算法族，其遗憾界与数据序列的经验Rademacher复杂度成比例。通过利用Burkholder在Banach空间中对解耦不等式进行几何表征的方法，该方法构建了高效、无量纲的算法，适用于多种范数——包括ℓp、Schatten p-范数以及再生核Hilbert空间，实现了数据相关的遗憾界，并在对抗性和i.i.d.设置下均提升了泛化性能。

ABSTRACT

We develop a novel family of algorithms for the online learning setting with regret against any data sequence bounded by the empirical Rademacher complexity of that sequence. To develop a general theory of when this type of adaptive regret bound is achievable we establish a connection to the theory of decoupling inequalities for martingales in Banach spaces. When the hypothesis class is a set of linear functions bounded in some norm, such a regret bound is achievable if and only if the norm satisfies certain decoupling inequalities for martingales. Donald Burkholder's celebrated geometric characterization of decoupling inequalities (1984) states that such an inequality holds if and only if there exists a special function called a Burkholder function satisfying certain restricted concavity properties. Our online learning algorithms are efficient in terms of queries to this function. We realize our general theory by giving novel efficient algorithms for classes including lp norms, Schatten p-norms, group norms, and reproducing kernel Hilbert spaces. The empirical Rademacher complexity regret bound implies --- when used in the i.i.d. setting --- a data-dependent complexity bound for excess risk after online-to-batch conversion. To showcase the power of the empirical Rademacher complexity regret bound, we derive improved rates for a supervised learning generalization of the online learning with low rank experts task and for the online matrix prediction task. In addition to obtaining tight data-dependent regret bounds, our algorithms enjoy improved efficiency over previous techniques based on Rademacher complexity, automatically work in the infinite horizon setting, and are scale-free. To obtain such adaptive methods, we introduce novel machinery, and the resulting algorithms are not based on the standard tools of online convex optimization.

研究动机与目标

• 开发一种通用理论，用于自适应在线学习的遗憾界，使其与经验Rademacher复杂度成比例。
• 利用Banach空间中的局部鞅解耦不等式，建立此类遗憾界的必要与充分条件。
• 设计高效、无量纲的在线算法，能够自动适应数据复杂度，而无需事先知晓序列的难度。
• 将该框架扩展至无限维函数类，包括再生核Hilbert空间和低秩矩阵预测。
• 在在线转批量转换后，展示改进的泛化率，尤其针对低秩专家和矩阵预测任务。

提出的方法

• 提出一类基于Burkholder对UMD空间几何表征所导出的'锯齿凹函数'的新在线学习算法。
• 利用基于UMD（无条件鞅差）不等式和停止时间论证的新型工具，推导遗憾界。
• 通过查询满足受限凹性和上界性质的Burkholder函数，构建高效算法。
• 将该理论应用于特定范数：ℓp、Schatten p-范数、组范数和RKHS，证明了合适U函数的存在性。
• 采用'加倍技巧'与递归函数复合，处理无界序列并确保无限时域下的自适应性。
• 通过经验Rademacher复杂度推导出数据相关的遗憾界，这些遗憾界在在线转批量转换后可转化为过剩风险界。

实验结果

研究问题

• RQ1 在何种假设类条件下，可将在线遗憾界限制在数据序列的经验Rademacher复杂度范围内？
• RQ2 在何种条件下存在能实现此类遗憾界的Burkholder函数，以及如何高效计算该函数？
• RQ3 该框架能否扩展至非线性函数类及无限维空间（如RKHS和低秩矩阵）？
• RQ4 该遗憾界在在线转批量转换后对i.i.d.设置下的泛化性能有何影响？
• RQ5 与现有基于Rademacher的在线学习方法相比，所得算法在效率和自适应性方面表现如何？

主要发现

• 本文证明，当且仅当底层范数满足特定解耦不等式时，遗憾界可被经验Rademacher复杂度所限制，而这些不等式由Burkholder函数的存在性所表征。
• 对于偶数p ≥ 2的ℓp范数，本文构造了显式的Burkholder函数，其UMD常数满足Ck ≤ αk⁴（α为某常数）。
• 该框架生成了高效、无量纲的算法，可在无限时域设置下运行，并自动适应数据复杂度。
• 在i.i.d.设置下，经验Rademacher复杂度的遗憾界在在线转批量转换后可推出数据相关的过剩风险界。
• 该方法在低秩专家和在线矩阵预测任务中实现了改进的泛化率，优于先前方法。
• 该理论为函数类中的广义UMD性质提供了必要与充分条件，并可应用于经验覆盖数界。