[论文解读] Majorizing Measures, Sequential Complexities, and Online Learning

Adam Block, Yuval Dagan+1 more|arXiv (Cornell University)|Feb 2, 2021

Computability, Logic, AI Algorithms参考文献 22被引用 4

一句话总结

本文建立了主要测度与序列 Rademacher 复杂度之间的新联系，通过分数覆盖数和序列敏感尺度维数，实现了对序列复杂度的无时域依赖控制。它证明了最坏情况序列 Rademacher 复杂度的紧致压缩不等式，解决了在线学习领域长期存在的开放问题，并将经典经验过程理论扩展到序列设置，给出了基于积分的精确边界。

ABSTRACT

We introduce the technique of generic chaining and majorizing measures for controlling sequential Rademacher complexity. We relate majorizing measures to the notion of fractional covering numbers, which we show to be dominated in terms of sequential scale-sensitive dimensions in a horizon-independent way, and, under additional complexity assumptions establish a tight control on worst-case sequential Rademacher complexity in terms of the integral of sequential scale-sensitive dimension. Finally, we establish a tight contraction inequality for worst-case sequential Rademacher complexity. The above constitutes the resolution of a number of outstanding open problems in extending the classical theory of empirical processes to the sequential case, and, in turn, establishes sharp results for online learning.

研究动机与目标

• 通过为分析序列 Rademacher 复杂度开发一个框架，将经典经验过程理论扩展到序列设置。
• 通过使用主要测度建立对最坏情况序列 Rademacher 复杂度的紧致控制，解决在线学习中的开放问题。
• 以无时域依赖的方式，将序列复杂度与分数覆盖数和序列敏感尺度维数联系起来。
• 证明序列 Rademacher 复杂度的尖锐压缩不等式，其形式类似于经典高斯过程结果。
• 通过统一的复杂性理论框架，统一并加强在线学习、私有学习和对抗鲁棒性领域的现有结果。

提出的方法

• 引入泛化链和主要测度的使用，以控制在线学习设置中序列 Rademacher 复杂度。
• 定义并分析序列过程的分数覆盖数，表明其在无时域依赖的意义下受序列敏感尺度维数的支配。
• 证明序列肥大破碎维数的积分在常数因子内控制最坏情况序列 Rademacher 复杂度。
• 推导出序列 Rademacher 复杂度的紧致压缩不等式，证明其在绝对常数范围内是紧致的。
• 将该理论应用于有界统一鞅大数定律和在线学习中的极小极大遗憾。
• 通过测度的递归构造和基于树的分析，对 dyadic 树上覆盖数对数的积分进行有界。

实验结果

研究问题

• RQ1 主要测度能否用于控制在线学习设置中序列 Rademacher 复杂度？
• RQ2 分数覆盖数与序列敏感尺度维数之间是否存在无时域依赖关系？
• RQ3 能否通过序列肥大破碎维数的积分，对最坏情况序列 Rademacher 复杂度进行紧致有界？
• RQ4 是否存在类似于高斯情形的尖锐压缩不等式，适用于序列 Rademacher 复杂度？
• RQ5 该理论能否统一并加强在线学习、私有学习和对抗鲁棒性领域的结果？

主要发现

• 最坏情况序列 Rademacher 复杂度被有界为常数乘以序列肥大破碎维数在单位区间上平方根的积分。
• 序列过程的分数覆盖数在不依赖时域长度的意义下，受序列敏感尺度维数积分的支配。
• 建立了序列 Rademacher 复杂度的尖锐压缩不等式，表明其在绝对常数范围内是紧致的。
• 该理论通过基于序列肥大破碎维数的无时域依赖复杂性度量，解决了在线学习中的开放问题。
• 结果意味着在线学习中极小极大遗憾和统一鞅大数定律的紧致边界，且在私有学习和对抗鲁棒性中有应用。
• 该框架将经典经验过程理论扩展到序列情形，为鞅过程提供了与 Dudley 链接和 Fernique-Talagrand 边界完全类比的完整版本。