[论文解读] Efficient tracking of a growing number of experts

Jaouad Mourtada, Odalric-Ambrym Maillard|arXiv (Cornell University)|Aug 31, 2017

Advanced Bandit Algorithms Research参考文献 19被引用 8

一句话总结

本文提出了一种新颖的在线学习算法，用于实时追踪不断增长的专家数量，其中新专家以顺序且不可预测的方式陆续到来。通过结合‘弃权技巧’与一种新的‘静音技巧’，并辅以自适应参数调节，该方法在理论上达到紧致的遗憾界（最优），实践中也高效可行，同时在每轮中保持线性的时间与空间复杂度，即使在事先未知总专家数与时间范围的情况下亦成立。

ABSTRACT

We consider a variation on the problem of prediction with expert advice, where new forecasters that were unknown until then may appear at each round. As often in prediction with expert advice, designing an algorithm that achieves near-optimal regret guarantees is straightforward, using aggregation of experts. However, when the comparison class is sufficiently rich, for instance when the best expert and the set of experts itself changes over time, such strategies naively require to maintain a prohibitive number of weights (typically exponential with the time horizon). By contrast, designing strategies that both achieve a near-optimal regret and maintain a reasonable number of weights is highly non-trivial. We consider three increasingly challenging objectives (simple regret, shifting regret and sparse shifting regret) that extend existing notions defined for a fixed expert ensemble; in each case, we design strategies that achieve tight regret bounds, adaptive to the parameters of the comparison class, while being computationally inexpensive. Moreover, our algorithms are anytime, agnostic to the number of incoming experts and completely parameter-free. Such remarkable results are made possible thanks to two simple but highly effective recipes: first the "abstention trick" that comes from the specialist framework and enables to handle the least challenging notions of regret, but is limited when addressing more sophisticated objectives. Second, the "muting trick" that we introduce to give more flexibility. We show how to combine these two tricks in order to handle the most challenging class of comparison strategies.

研究动机与目标

• 解决在线预测中专家建议的挑战，当新专家随时间动态出现时，这一情形未被经典固定专家框架所涵盖。
• 设计在活跃专家数量增加时仍能保持低遗憾并高效扩展的算法，避免指数级计算开销。
• 将标准遗憾概念——简单遗憾、切换遗憾与稀疏切换遗憾——推广至专家池动态演化的设置中。
• 确保算法具备‘随时可用’特性，对总专家数不敏感，且无需参数调节，从而实现无需调参的实用部署。
• 在统一且可扩展的算法框架下，整合并推广现有专家与休眠专家框架的研究成果。

提出的方法

• 引入专家学习中的‘弃权技巧’，通过允许专家在未激活时放弃预测，以处理基本遗憾目标。
• 提出新颖的‘静音技巧’，以增强对复杂比较类别的灵活性处理能力，尤其适用于追踪多个专家或在它们之间切换的情形。
• 设计 GrowingSleepingMarkovHedge 算法，结合马尔可夫转移规则与专家特定权重，以及随时间变化的参数 αt 和 βt。
• 为每位专家设置先验权重 πi，并在每轮动态归一化，以维持计算效率与稳定性。
• 采用归一化的指数加权方案，结合损失相关更新：vt+1(i,a) = Σb θi,t+1(a|b) vt^m(i,b)，其中 vt^m 为归一化权重更新。
• 通过仅追踪活跃专家并逐步更新权重，将每轮的时间与空间复杂度维持在 O(Mt)，其中 Mt 为时间 t 时的活跃专家数量。

实验结果

研究问题

• RQ1 我们如何设计一种在线学习算法，以高效追踪随时间引入新专家时的最佳专家？
• RQ2 能否将切换遗憾的概念扩展至专家集合动态增长的场景？若可，如何实现紧致的遗憾界？
• RQ3 哪些技术可使我们在保持活跃专家数量线性复杂度的同时，维持低遗憾？
• RQ4 如何统一专家框架与休眠专家框架，以同时处理新专家的到达与专家的不活跃状态？
• RQ5 是否可能设计一种无参数、随时可用的算法，以适应未知的时间范围与不断演化的专家池？

主要发现

• GrowingSleepingMarkovHedge 算法实现了 O(1/η) 乘以涉及先验权重、αt、βt 与切换时间的对数项之和的遗憾界，对比较类参数具有紧致依赖性。
• 该遗憾界能自适应于专家数量、最佳专家序列的切换次数以及新专家的到达时间，实现近似最优性。
• 该算法在每轮中保持 O(Mt) 的时间与空间复杂度，其中 Mt 为时间 t 时的活跃专家数量，因此具备可扩展性与实用性。
• 通过设定 αt = βt = 1/t 且 πi = 1/(τi m_{τi})，该方法作为特例恢复了先前工作中已知的最优遗憾界 (7)。
• ‘静音技巧’的使用使算法能够处理复杂比较类，如稀疏切换策略，而这是以往方法无法高效支持的。
• 该算法对先验权重的缩放具有不变性，允许归一化而不影响性能，且完全无参数、随时可用。