[论文解读] A Dominant Strategy Truthful, Deterministic Multi-Armed Bandit Mechanism with Logarithmic Regret

Divya Padmanabhan, Satyanath Bhat+3 more|arXiv (Cornell University)|May 8, 2017

Advanced Bandit Algorithms Research参考文献 4被引用 1

一句话总结

本文提出了一种确定性、主导策略可信的多臂赌博机机制 Δ-UCB，通过引入一个分辨率参数 Δ，捕捉可区分的奖励差异最小值，在赞助搜索拍卖中实现了 O(log T) 的 Δ- regret。与先前具有 Ω(T^{2/3}) regret 的机制不同，Δ-UCB 利用了现实的奖励分离，显著降低了 regret，同时保持了激励相容性和个体理性。

ABSTRACT

Stochastic multi-armed bandit (MAB) mechanisms are widely used in sponsored search auctions, crowdsourcing, online procurement, etc. Existing stochastic MAB mechanisms with a deterministic payment rule, proposed in the literature, necessarily suffer a regret of Ω(T2/3), where T is the number of time steps. This happens because the existing mechanisms consider the worst case scenario where the means of the agents' stochastic rewards are separated by a very small amount that depends on T. We make, and, exploit the crucial observation that in most scenarios, the separation between the agents' rewards is rarely a function of T. Moreover, in the case that the rewards of the arms are arbitrarily close, the regret contributed by such sub-optimal arms is minimal. Our idea is to allow the center to indicate the resolution, Δ, with which the agents must be distinguished. This immediately leads us to introduce the notion of Δ-Regret. Using sponsored search auctions as a concrete example (the same idea applies for other applications as well), we propose a dominant strategy incentive compatible (DSIC) and individually rational (IR), deterministic MAB mechanism, based on ideas from the Upper Confidence Bound (UCB) family of MAB algorithms. Remarkably, the proposed mechanism Δ-UCB achieves a Δ-regret of O(log T) for the case of sponsored search auctions.

研究动机与目标

• 为解决现有确定性 MAB 机制在随机设置下高 regret 的问题，这些机制由于最坏情况下的奖励分离而产生 Ω(T^{2/3}) 的 regret。
• 认识到在实际中，奖励分离很少依赖于 T，因此最坏情况的假设过于悲观。
• 引入 Δ-regret 的概念，其中 Δ 定义了最小可区分的奖励差异，从而实现更现实的性能边界。
• 设计一种主导策略激励相容（DSIC）且个体理性的机制，在现实奖励分离下实现低 regret。
• 证明在使用改进的 UCB 方法时，可在赞助搜索拍卖中实现 O(log T) 的 Δ-regret。

提出的方法

• 引入 Δ-regret 的概念，其中 regret 相对于分辨率 Δ 衡量，Δ 是机制必须区分的最小奖励差异。
• 定义一种使用改进的上置信界（UCB）算法的确定性机制，经调整以确保可信性和个体理性。
• 允许中心将 Δ 设为参数，反映区分各臂期望奖励所需精度。
• 使用与 Δ 成比例的置信区间，确保奖励差异小于 Δ 的臂对 regret 的贡献可忽略不计。
• 通过设计支付机制，确保无论他人报告如何，诚实报告奖励都能使代理获得最大效用，从而保证主导策略激励相容。
• 通过确保代理在诚实报告时获得非负的期望效用，维持个体理性。

实验结果

研究问题

• RQ1 在现实奖励分离假设下，确定性、主导策略可信的 MAB 机制能否实现关于 T 的次多项式 regret？
• RQ2 当最小可区分奖励差异 Δ 已知且固定时，regret 的根本极限是什么？
• RQ3 引入 Δ-regret 如何优于现有机制的 Ω(T^{2/3}) regret 上限？
• RQ4 能否对基于 UCB 的机制进行调整，以确保可信性和个体理性，同时实现对数 regret？
• RQ5 在赞助搜索等实际场景中，Δ-regret 框架是否能带来显著改进？

主要发现

• 所提出的 Δ-UCB 机制实现了 O(log T) 的 Δ-regret，相较于现有确定性 MAB 机制的 Ω(T^{2/3}) regret 有显著改进。
• 该机制具有主导策略激励相容（DSIC）特性，确保所有代理无论他人行为如何，诚实报告均为最优策略。
• 该机制维持了个体理性，保证诚实代理的期望效用非负。
• 通过引入 Δ 作为分辨率参数，该机制避免了导致先前工作中高 regret 的最坏情况 T-相关分离。
• Δ-regret 框架不仅适用于赞助搜索，还可推广至众包和在线采购等其他应用场景。
• 结果表明，在实际中奖励差异并非任意小时，regret 可实现对数级而非多项式级。