[论文解读] Online Learning with Vector Costs and Bandits with Knapsacks

Thomas Keßelheim, Sahil Singla|arXiv (Cornell University)|Oct 14, 2020

Advanced Bandit Algorithms Research被引用 5

一句话总结

本文提出了在线学习向量代价（$ extsc{OLVC}_p$）框架，用于在在线决策中最小化累积向量代价的$π$-范数。通过基于梯度的优化方法，将多维问题简化为一维代理问题，实现在随机设置下的近似最优遗憾，以及在对抗性设置下紧致的$O(\min\{p,\log d\})$竞争比，适用于背包带 Bandits（BwK）问题。

ABSTRACT

We introduce online learning with vector costs (\OLVCp) where in each time step $t \in \{1,\ldots, T\}$, we need to play an action $i \in \{1,\ldots,n\}$ that incurs an unknown vector cost in $[0,1]^{d}$. The goal of the online algorithm is to minimize the $\ell_p$ norm of the sum of its cost vectors. This captures the classical online learning setting for $d=1$, and is interesting for general $d$ because of applications like online scheduling where we want to balance the load between different machines (dimensions). We study \OLVCp in both stochastic and adversarial arrival settings, and give a general procedure to reduce the problem from $d$ dimensions to a single dimension. This allows us to use classical online learning algorithms in both full and bandit feedback models to obtain (near) optimal results. In particular, we obtain a single algorithm (up to the choice of learning rate) that gives sublinear regret for stochastic arrivals and a tight $O(\min\{p, \log d\})$ competitive ratio for adversarial arrivals. The \OLVCp problem also occurs as a natural subproblem when trying to solve the popular Bandits with Knapsacks (\BwK) problem. This connection allows us to use our \OLVCp techniques to obtain (near) optimal results for \BwK in both stochastic and adversarial settings. In particular, we obtain a tight $O(\log d \cdot \log T)$ competitive ratio algorithm for adversarial \BwK, which improves over the $O(d \cdot \log T)$ competitive ratio algorithm of Immorlica et al. [FOCS'19].

研究动机与目标

• 解决$d$维在线学习中的向量代价问题，目标是最小化总代价向量的$\ell_p$-范数。
• 将问题形式化为经典在线学习（当$d=1$时）的推广，并应用于负载均衡与 BwK 问题。
• 开发一种从$d$维向量代价到一维代理问题的约简技术，以支持经典在线学习算法的应用。
• 在随机设置下实现子线性遗憾，在对抗性设置下实现 OLVC_p 与 BwK 的紧致竞争比。
• 将 OLVC_p 技术应用于改进对抗性设置下 Bandits with Knapsacks（BwK）的竞争比，从$O(d \log T)$降低至$O(\log d \cdot \log T)$。

提出的方法

• 通过基于梯度的代价向量变换，将$d$维 OLVC_p 约简为一维代理问题。
• 以总代价向量的$\ell_p$-范数作为目标函数，使用保持强凸性与次梯度性质的代理函数。
• 对一维代理问题应用经典在线学习算法（如 Follow-the-Regularized-Leader），并利用已知的遗憾界。
• 引入对偶变量$g^{(t)}$以表示代理函数的梯度，实现高效更新。
• 通过正则化项$\Psi^{(t)}_{p,r}$控制对偶变量的稳定性，确保有界遗憾。
• 通过将资源消耗建模为向量代价，并利用代理函数推导竞争比，将该约简方法应用于带背包的 Bandits（BwK）问题。

实验结果

研究问题

• RQ1 是否可以在保留近似最优遗憾与竞争比的前提下，将带向量代价的在线学习约简为一维代理问题？
• RQ2 在对抗性设置下，OLVC_p 的竞争比是多少？其随$d$与$p$的变化趋势如何？
• RQ3 所提出的 OLVC_p 框架如何在对抗性设置下改进带背包 Bandits（BwK）的竞争比？
• RQ4 OLVC_p 在随机设置下的遗憾与对抗性设置下的竞争比之间存在何种权衡？
• RQ5 当最优解未知时，OLVC_p 框架是否可用于推导 BwK 的紧致界？

主要发现

• 通过一维代理约简与经典在线学习算法，本文在随机设置下实现了 OLVC_p 的子线性遗憾。
• 在对抗性 OLVC_p 中，竞争比为$O(\min\{p, \log d\})$，该结果紧致，并优于先前工作。
• 对抗性 BwK 的竞争比从$O(d \log T)$改进至$O(\log d \cdot \log T)$，与目前已知最佳界仅相差对数因子。
• 在随机 BwK 中，该算法以高概率实现$\textsc{OPT}_{\textsc{BwK}} \cdot \left(1 - O\left(\left(\frac{(p+r)\|\mathbf{1}_d\|_p}{B}\right)^{1/2}\right)\right)$的收益。
• 该方法对未知$\textsc{OPT}_{\textsc{BwK}}$具有鲁棒性，通过在分析中移除最优值已知的假设得到验证。
• 理论保证由梯度稳定性与 Hölder 不等式支持，确保有界遗憾与收敛性。