[论文解读] Soft-Bayes: Prod for Mixtures of Experts with Log-Loss

Laurent Orseau, Tor Lattimore+1 more|arXiv (Cornell University)|Jan 8, 2019

Advanced Bandit Algorithms Research被引用 5

一句话总结

本文提出 Soft-Bayes，一种在对数损失下针对专家建议进行在线预测的线性时间算法，采用具有贝叶斯解释的 Prod（乘积）算法。该算法实现的遗憾界不依赖于极端损失或梯度，且在专家支持集不相交时可恢复经典估计器（如拉普拉斯法则和 KT 估计器），并在特定设置下实现可证明的对数遗憾。

ABSTRACT

We consider prediction with expert advice under the log-loss with the goal of deriving efficient and robust algorithms. We argue that existing algorithms such as exponentiated gradient, online gradient descent and online Newton step do not adequately satisfy both requirements. Our main contribution is an analysis of the Prod algorithm that is robust to any data sequence and runs in linear time relative to the number of experts in each round. Despite the unbounded nature of the log-loss, we derive a bound that is independent of the largest loss and of the largest gradient, and depends only on the number of experts and the time horizon. Furthermore we give a Bayesian interpretation of Prod and adapt the algorithm to derive a tracking regret.

研究动机与目标

• 开发一种用于在线学习中专家建议的预测算法，具备高效性、对表现差的专家具有鲁棒性，并实现跟踪遗憾。
• 解决现有方法（如指数梯度法和在线牛顿法）存在的计算成本高或遗憾界不稳定的问题。
• 为 Prod 算法提供一种贝叶斯解释，以实现鲁棒性并支持高效实现。
• 推导出不依赖于最大损失或梯度的遗憾界，仅取决于专家数量和时间范围。
• 在专家支持集不相交时，将已知的密度估计器（如拉普拉斯、KT）作为特例恢复。

提出的方法

• 使用 Prod 算法，并通过贝叶斯更新规则自适应调整学习率，将权重解释为后验信念。
• 对专家预测应用变换 $ \frac{p^i_t}{M_t} $，以在遗憾分析中实现望远镜求和。
• 采用学习率 $ \eta_t = \frac{1}{t + c} $，在支持集不相交时实现对经典估计器的精确恢复。
• 通过方差类项 $ V^i_k = \sum_{t \leq k} \left( \frac{p^i_t}{M_t} - 1 \right)^2 $ 推导遗憾界，从而在有利条件下实现对数遗憾。
• 通过将学习率调整为依赖于专家表现累计偏差，引入跟踪遗憾的变体。
• 通过 $ \sum_i w^i_t \eta^i_t \frac{p^i_t}{M_t} = \sum_i w^i_t \eta^i_t $ 的归一化技巧，简化遗憾分解。

实验结果

研究问题

• RQ1 能否设计一种在对数损失下对混合专家预测具有线性时间复杂度的算法，且对对抗性数据和极端损失具有鲁棒性？
• RQ2 当从贝叶斯视角解释 Prod 算法时，是否能获得不依赖于最大损失或梯度的可证明最优遗憾界？
• RQ3 Soft-Bayes 框架能否将经典密度估计器（如拉普拉斯法则或 KT 估计器）作为特例恢复？
• RQ4 学习率 $ \eta_t = \frac{1}{t + c} $ 如何在支持集不相交时实现对已知估计器的精确恢复？
• RQ5 该算法能否在保持线性时间复杂度的同时，实现与固定份额方法相当的跟踪遗憾？

主要发现

• Soft-Bayes 算法每轮运行时间为 $ O(N) $，并实现不依赖于最大损失或梯度的遗憾界，仅取决于 $ N $ 和 $ T $。
• 在支持集不相交且 $ \eta_t = \frac{1}{t + c} $ 时，当 $ c = N $，算法恢复拉普拉斯的继承法则，遗憾为 $ O(N \ln \frac{T}{N}) $。
• 当 $ c = 1 $ 时，恢复佩克斯估计器，遗憾为 $ O(m \ln T) $，其中 $ m $ 为至少做出一次正确预测的专家数量。
• 当 $ c = N/2 $ 时，恢复 KT 估计器，遗憾为 $ O(\frac{N}{2} \ln T) $，与已知的极小化最大遗憾最优界一致。
• 遗憾界为 $ O\left( \left[ \ln N + \ln(1 + \max_j \ln(1 + V^j_T)) \right] \sqrt{1 + \frac{V^i_T}{\ln N}} \right) $，可自适应于专家预测的累计偏差。
• 对 Prod 算法的贝叶斯解释使自然扩展至跟踪遗憾，同时保持鲁棒性与高效性。