[论文解读] Know Your Customer: Multi-armed Bandits with Capacity Constraints.

Ramesh Johari, Vijay Kamble+1 more|arXiv (Cornell University)|Mar 15, 2016

Advanced Bandit Algorithms Research参考文献 26被引用 4

一句话总结

本文提出了一种三阶段多臂赌博机策略，用于在容量约束和客户偏好未知的条件下进行资源分配。通过利用容量约束指派问题导出的影子价格，该策略在平衡即时收益、客户类型学习和容量限制的同时，实现了渐近最优的遗憾值。

ABSTRACT

A wide range of resource allocation and platform operation settings exhibit the following two simultaneous challenges: (1) service resources are capacity constrained; and (2) clients' preferences are not perfectly known. To study this pair of challenges, we consider a service system with heterogeneous servers and clients. Server types are known and there is fixed capacity of servers of each type. Clients arrive over time, with types initially unknown and drawn from some distribution. Each client sequentially brings $N$ jobs before leaving. The system operator assigns each job to some server type, resulting in a payoff whose distribution depends on the client and server types. Our main contribution is a complete characterization of the structure of the optimal policy for maximization of the rate of payoff accumulation. Such a policy must balance three goals: (i) earning immediate payoffs; (ii) learning client types to increase future payoffs; and (iii) satisfying the capacity constraints. We construct a policy that has provably optimal regret (to leading order as $N$ grows large). Our policy has an appealingly simple three-phase structure: a short type-guessing phase, a type-confirmation phase that balances payoffs with learning, and finally an exploitation phase that focuses on payoffs. Crucially, our approach employs the shadow of the capacity constraints in the assignment problem with known types as externality prices on the servers' capacity.

研究动机与目标

• 建模并求解服务器容量固定且客户类型初始未知的资源分配问题。
• 在获取即时收益、学习客户类型和遵守容量约束之间实现权衡。
• 设计一种策略，使其在大时间范围极限下（当 N → ∞ 时）实现可证明最优的遗憾值。
• 通过已知类型指派问题中的外部性定价，将容量约束系统性地整合到学习和分配决策中。

提出的方法

• 该策略分为三个阶段：短暂的类型猜测阶段、平衡学习与收益的类型确认阶段，以及专注于最大化收益的最终开发阶段。
• 从已知客户和服务器类型下的最优指派问题中推导出影子价格，以表示容量约束的外部性。
• 该算法使用这些影子价格来指导服务器分配决策，将容量约束内生化到学习过程中。
• 遗憾值通过渐近分析进行评估，结果表明当 N 变大时，该策略在主导阶上实现了最优遗憾值。
• 该方法利用学习与资源分配之间的对偶性，通过定价机制将容量约束嵌入学习目标。

实验结果

研究问题

• RQ1 在异构服务器-客户系统中，如何设计多臂赌博机策略，以最优方式平衡学习、收益最大化和容量约束？
• RQ2 当客户类型和服务器容量均未知或部分已知时，最优策略的结构是什么？
• RQ3 如何系统性地将容量约束整合到学习和分配过程中，以最小化遗憾值？
• RQ4 随着每个客户的工作量（N）增大，此类策略的渐近遗憾值是多少？

主要发现

• 所提出的策略实现了渐近最优的遗憾值，主导阶的遗憾值与理论下界一致。
• 三阶段结构——类型猜测、类型确认和开发——在遵守容量限制的同时实现了高效的探索。
• 来自已知类型指派问题的影子价格作为有效的外部性度量，可指导容量约束下的最优分配。
• 该策略通过在学习目标中引入定价机制，将容量约束内生化，从而在探索与开发之间保持平衡。