[论文解读] Adaptive Online Learning

Dylan J. Foster, Alexander Rakhlin+1 more|arXiv (Cornell University)|Aug 21, 2015

Advanced Bandit Algorithms Research参考文献 27被引用 17

一句话总结

本文提出了一种通用框架，用于自适应在线学习，通过偏移复杂度度量和单边尾部不等式，实现数据依赖性和模型选择的后悔界。该框架建立了实现自适应速率的充分条件，恢复并改进了现有边界（如分位数、二阶和小损失边界），并推导出一种基于谱范数的在线线性优化新边界，以及适用于可数无限集合的在线PAC-Bayes定理。

ABSTRACT

We propose a general framework for studying adaptive regret bounds in the online learning framework, including model selection bounds and data-dependent bounds. Given a data- or model-dependent bound we ask, "Does there exist some algorithm achieving this bound?" We show that modifications to recently introduced sequential complexity measures can be used to answer this question by providing sufficient conditions under which adaptive rates can be achieved. In particular each adaptive rate induces a set of so-called offset complexity measures, and obtaining small upper bounds on these quantities is sufficient to demonstrate achievability. A cornerstone of our analysis technique is the use of one-sided tail inequalities to bound suprema of offset random processes. Our framework recovers and improves a wide variety of adaptive bounds including quantile bounds, second-order data-dependent bounds, and small loss bounds. In addition we derive a new type of adaptive bound for online linear optimization based on the spectral norm, as well as a new online PAC-Bayes theorem that holds for countably infinite sets.

研究动机与目标

• 开发一种在线学习中自适应后悔界的一般性框架，以处理数据依赖性和模型选择（类似oracle）的边界。
• 解决在线学习中缺乏实现自适应速率的理论工具的问题，尤其与统计学习中此类边界已充分建立的情况形成对比。
• 识别在何种充分条件下可实现自适应后悔界，使用改进的序列复杂度度量。
• 通过统一的分析框架，统一并改进现有自适应边界，包括分位数、二阶和小损失边界。
• 推导新结果，如基于谱范数的在线线性优化自适应边界，以及适用于可数无限集合的在线PAC-Bayes定理。

提出的方法

• 该框架引入了源自自适应后悔率的偏移复杂度度量，其中这些度量的小上界意味着可实现相应的自适应速率。
• 它使用单边尾部不等式来界定偏移随机过程的上确界，替代了序列设定中对集中不等式的需求。
• 分析以序列Rademacher复杂度为基准，并通过考虑模型复杂度和数据依赖性的偏移过程对其进行扩展。
• 该方法适用于监督学习和在线线性优化，损失函数范围从一般形式到内积形式。
• 它利用了惩罚项应“略大于”经验过程波动的思路，并将其适应到在线序列设定中。
• 该框架使用后悔的递归分解，并引入辅助变量（如ε, y′, y′′）以解耦依赖关系并应用期望界。

实验结果

研究问题

• RQ1 能否开发一种通用框架，以在在线学习中实现依赖于数据或模型复杂性的自适应后悔界？
• RQ2 在在线学习设定中，实现给定自适应后悔界的充分条件是什么？
• RQ3 如何在有界差不等式失效的序列设定中，使用单边尾部不等式替代集中不等式？
• RQ4 能否在一个统一框架内恢复并改进现有自适应边界，如分位数、二阶和小损失边界？
• RQ5 能否利用该框架推导出新的自适应边界，特别是针对在线线性优化和PAC-Bayesian设定？

主要发现

• 该框架通过偏移复杂度度量的小上界，为实现自适应后悔界提供了充分条件，这些度量源自目标自适应速率。
• 通过统一分析，该框架恢复并改进了已知的自适应边界，包括分位数边界、二阶数据依赖边界和小损失边界。
• 基于损失序列的谱范数，推导出一种新的在线线性优化自适应边界，在结构化设定中提供了更紧密的控制。
• 建立了一项在线PAC-Bayes定理，适用于可数无限的假设类，将PAC-Bayesian理论的适用范围扩展到在线学习。
• 使用单边尾部不等式使得在序列设定中分析偏移过程的上确界成为可能，避免了标准集中不等式的失效。
• 该框架表明，统计学习中“略大于波动”的原则可通过偏移过程和单边界在在线学习中实现自适应。