[论文解读] Combinatorial Network Optimization with Unknown Variables: Multi-Armed Bandits with Linear Rewards

Yi Gai, Bhaskar Krishnamachari+1 more|arXiv (Cornell University)|Nov 22, 2010

Advanced Bandit Algorithms Research参考文献 26被引用 14

一句话总结

本文提出了一种新颖的多臂赌博机框架，用于组合网络优化问题，其奖励为线性形式，且各动作（臂）通过共享的未知参数相互依赖。通过跟踪每个随机变量的观测值而非每个臂的观测值，LLR策略实现了随时间对数增长、随未知参数数量多项式增长的遗憾，且存储与计算复杂度随参数数量线性增长，而非随臂的数量增长。

ABSTRACT

In the classic multi-armed bandits problem, the goal is to have a policy for dynamically operating arms that each yield stochastic rewards with unknown means. The key metric of interest is regret, defined as the gap between the expected total reward accumulated by an omniscient player that knows the reward means for each arm, and the expected total reward accumulated by the given policy. The policies presented in prior work have storage, computation and regret all growing linearly with the number of arms, which is not scalable when the number of arms is large. We consider in this work a broad class of multi-armed bandits with dependent arms that yield rewards as a linear combination of a set of unknown parameters. For this general framework, we present efficient policies that are shown to achieve regret that grows logarithmically with time, and polynomially in the number of unknown parameters (even though the number of dependent arms may grow exponentially). Furthermore, these policies only require storage that grows linearly in the number of unknown parameters. We show that this generalization is broadly applicable and useful for many interesting tasks in networks that can be formulated as tractable combinatorial optimization problems with linear objective functions, such as maximum weight matching, shortest path, and minimum spanning tree computations.

研究动机与目标

• 解决传统多臂赌博机策略在臂的数量呈指数级增长时的可扩展性限制。
• 提出一类广义的多臂赌博机问题，其中奖励为未知参数的线性组合，且各臂之间存在依赖关系。
• 设计一种利用臂之间线性依赖关系的策略，以相比基于臂的追踪方法，降低遗憾、存储与计算开销。
• 实现可证明的高效遗憾界，其随时间对数增长、随未知参数数量多项式增长，而非随臂的数量增长。
• 使赌博机学习可实际应用于基础网络优化问题，如最短路径、最大权匹配和最小生成树等在不确定性条件下的优化。

提出的方法

• 将问题建模为N个未知随机变量X_i，其期望θ_i未知，动作（臂）a ∈ F，其奖励为a^T X。
• 维护两个向量：(θ̂_i) 表示X_i的样本均值，(m_i) 表示X_i被观测的次数。
• 在每个时间步，选择使∑_{i∈A_a} a_i (θ̂_i + √((L+1) ln n)/m_i) 最大的动作a，该索引基于不确定性，类似UCB方法。
• 每次观测后，仅对活跃臂支持集A_a中的索引i更新θ̂_i和m_i。
• 利用线性结构避免存储每条臂的统计信息，将存储复杂度从O(|F|)降低至O(N)。
• 在每一步求解一个确定性的组合优化问题以选择下一个动作，对于最大权匹配、最短路径等多项式时间可解问题，该过程是可计算的。

实验结果

研究问题

• RQ1 我们能否设计一种多臂赌博机策略，使其在组合设置中线性奖励下，可扩展性依赖于未知参数数量而非臂的数量？
• RQ2 如何利用臂之间的线性依赖关系，相比标准的基于臂的追踪方法，降低遗憾与存储需求？
• RQ3 此类线性结构赌博机问题可达到的最紧致遗憾界是什么？其是否随时间对数增长？
• RQ4 所提出的策略能否扩展至K臂选择（同时选择K个动作），同时保持性能保证？
• RQ5 该框架在实际网络优化问题中（如具有未知系数的路由或资源分配）的应用范围有多大？

主要发现

• LLR策略的遗憾增长为O(N⁴ ln n)，即随时间对数增长、随未知参数数量N的多项式增长，而非随臂的数量增长。
• 存储与计算复杂度随未知参数数量N线性增长，而非随臂的数量指数增长。
• 该遗憾界优于传统基于臂的分析方法，后者会给出随臂数量线性增长的遗憾。
• 该策略可扩展至K臂选择，仅需小幅修改即可保持相同的遗憾增长特性。
• 该框架广泛适用于多项式时间可解的组合优化问题，如最大权匹配、最短路径和最小生成树，且边权未知。
• 该算法性能可证明高效，适用于认知无线电网络、在线广告及其他随机优化场景的实际部署。