[论文解读] A Drifting-Games Analysis for Online Learning and Applications to Boosting

Haipeng Luo, Robert E. Schapire|arXiv (Cornell University)|Jun 7, 2014

Advanced Bandit Algorithms Research参考文献 30被引用 14

一句话总结

本文提出了一种新颖的漂移博弈框架（drifting-games framework）用于在线学习，通过凸代理损失实现极小化极大分析，从而导出适用于 Hedge、Bandit 以及在线凸优化设置的新型无参数算法。核心贡献是一种新型自适应提升算法 NH-Boost.DT，该算法通过在每轮中忽略大量样本实现更快的训练速度，同时在边界（margin）和误差界方面与 AdaBoost 相当或更优。

ABSTRACT

We provide a general mechanism to design online learning algorithms based on a minimax analysis within a drifting-games framework. Different online learning settings (Hedge, multi-armed bandit problems and online convex optimization) are studied by converting into various kinds of drifting games. The original minimax analysis for drifting games is then used and generalized by applying a series of relaxations, starting from choosing a convex surrogate of the 0-1 loss function. With different choices of surrogates, we not only recover existing algorithms, but also propose new algorithms that are totally parameter-free and enjoy other useful properties. Moreover, our drifting-games framework naturally allows us to study high probability bounds without resorting to any concentration results, and also a generalized notion of regret that measures how good the algorithm is compared to all but the top small fraction of candidates. Finally, we translate our new Hedge algorithm into a new adaptive boosting algorithm that is computationally faster as shown in experiments, since it ignores a large number of examples on each round.

研究动机与目标

• 开发一种通用方法论，通过在漂移博弈框架内使用极小化极大分析，设计在线学习算法。
• 将现有的在线学习设置——Hedge、多臂赌博机（multi-armed bandits）以及在线凸优化——统一并推广为一个共同的漂移博弈形式。
• 推导出新的无参数算法，具备自适应遗憾和高概率边界，且不依赖大数定律不等式。
• 将新推导的 Hedge 算法转化为一种高效且自适应的提升算法，通过忽略低边界样本实现优化。
• 在实验中展示其计算效率的提升以及泛化性能的改进。

提出的方法

• 将在线学习问题转化为漂移博弈的变体（DGv1、DGv2、DGv3），以建模不同的学习场景。
• 对漂移博弈框架应用极小化极大分析，从 0-1 损失函数出发。
• 利用凸代理函数（如指数型、二次型、正态型）对 0-1 损失进行松弛，以导出可计算的算法。
• 通过势函数和松弛技术，推导出 Hedge 算法的一般性方法（算法 3）。
• 将遗憾的概念推广为 ε-遗憾，用于衡量对除最差 ε 分位数候选者外所有样本的性能。
• 通过将样本视为动作并采用加权多数投票机制，将所得的 Hedge 算法转化为提升算法（NH-Boost.DT）

实验结果

研究问题

• RQ1 是否可以使用统一的漂移博弈框架，在多种学习设置下推导并分析在线学习算法？
• RQ2 如何利用凸代理损失对漂移博弈中的极小化极大分析进行松弛，以获得实用且无参数的算法？
• RQ3 该框架是否能自然地支持高概率遗憾边界，而无需依赖大数定律不等式？
• RQ4 推广后的 ε-遗憾概念是否能在在线学习与提升设置中保持一致应用？
• RQ5 所推导的提升算法 NH-Boost.DT 是否通过忽略高边界样本实现更快训练速度，同时保持或改善泛化性能？

主要发现

• 所提出的框架为 Hedge、Bandit 以及在线凸优化问题推导出新型无参数算法，其可推广现有方法（如 EXP3 和连续型 EXP）。
• 通过该框架推导出的 NormalHedge.DT 算法，可对所有 ε 和时间跨度同时实现 ε-遗憾边界，且不依赖于动作数量。
• 高概率遗憾边界在不依赖大数定律不等式的情况下被推导出来，其基础为漂移博弈的极小化极大结构。
• 新型提升算法 NH-Boost.DT 实现了训练误差为 Õ(exp(−1/3 Tγ²)) 的量级，并在边界分布上优于 AdaBoost，收敛至最优边界 2γ。
• 实验表明，NH-Boost.DT 显著快于 AdaBoost 和 NH-Boost，原因在于每轮中对大量样本赋予零权重，从而显著降低计算负载。
• NH-Boost.DT 中被赋予零权重的样本比例显著更高，证实其能高效跳过低边界样本。