[论文解读] Dominate or Delete: Decentralized Competing Bandits in Serial Dictatorship

Abishek Sankararaman, Soumya Basu+1 more|arXiv (Cornell University)|Jun 26, 2020

Advanced Bandit Algorithms Research参考文献 31被引用 7

一句话总结

本文提出 UCB-D3，一种在序列独裁设定下用于竞争性多臂老虎机的去中心化算法，其中代理在无中央协调的情况下学习未知的臂奖励。通过迭代删除被支配的臂，并使用基于UCB的探索与去中心化广播，UCB-D3 在无需奖励差距或时间范围先验知识的情况下实现了次线性 regret，且为最优阶次。

ABSTRACT

Online learning in a two-sided matching market, with demand side agents continuously competing to be matched with supply side (arms), abstracts the complex interactions under partial information on matching platforms (e.g. UpWork, TaskRabbit). We study the decentralized serial dictatorship setting, a two-sided matching market where the demand side agents have unknown and heterogeneous valuation over the supply side (arms), while the arms have known uniform preference over the demand side (agents). We design the first decentralized algorithm -- UCB with Decentralized Dominant-arm Deletion (UCB-D3), for the agents, that does not require any knowledge of reward gaps or time horizon. UCB-D3 works in phases, where in each phase, agents delete \emph{dominated arms} -- the arms preferred by higher ranked agents, and play only from the non-dominated arms according to the UCB. At the end of the phase, agents broadcast in a decentralized fashion, their estimated preferred arms through {\em pure exploitation}. We prove both, a new regret lower bound for the decentralized serial dictatorship model, and that UCB-D3 is order optimal.

研究动机与目标

• 解决在双边市场中无中央仲裁者时的去中心化在线匹配问题，其中代理竞争有限的供给侧资源（即臂）。
• 克服集中式模型的局限性，后者要求诚实报告和全局信息，但因隐私、透明度和可扩展性问题而难以实施。
• 设计一种仅依赖本地观测的去中心化算法，实现在部分信息下的诚实与稳定匹配。
• 在时间范围内实现次线性 regret（理想情况下为对数级），且无需对奖励差距或时间范围有先验知识。
• 为序列独裁模型中的稳定性和收敛至唯一稳定匹配提供理论保证。

提出的方法

• 提出 UCB-D3，一种分阶段算法，其中代理在每个阶段使用上置信界（UCB）进行臂选择，执行探索与利用。
• 引入一种新颖的臂删除机制：在每个阶段，代理识别并删除“被支配的臂”——即被更高排名代理偏好的臂，从而降低碰撞风险。
• 在每个阶段结束时，通过去中心化广播估计的首选臂，使代理能在无中央协调的情况下更新其知识。
• 在所有臂上保持统一的代理排名，确保更高排名的代理在匹配中具有优先权，符合序列独裁机制。
• 采用分阶段结构，使代理随时间逐步优化其臂偏好，最终收敛至稳定匹配。
• 通过证明新的 regret 下界并表明 UCB-D3 在对数因子范围内达到该下界，确保算法为最优阶次。

实验结果

研究问题

• RQ1 能否设计一种去中心化算法，在无中央仲裁者的情况下，于双边匹配多臂老虎机设定中实现次线性 regret？
• RQ2 在去中心化序列独裁模型中，regret 的根本极限（下界）是什么？
• RQ3 代理如何在不知晓奖励差距或时间范围的情况下，学习避免碰撞并收敛至稳定匹配？
• RQ4 在去中心化竞争性多臂老虎机中，删除被支配臂在降低 regret 和提升收敛性方面起到何种作用？
• RQ5 所提出的算法 UCB-D3 是否在去中心化序列独裁模型中实现了最优阶次 regret？

主要发现

• UCB-D3 在去中心化序列独裁模型中实现了最优阶次 regret，其性能与推导出的 regret 下界在对数因子范围内一致。
• 与去中心化 ETC 基线相比，UCB-D3 表现更优，尤其在通过战略性删除被支配臂显著降低碰撞导致的 regret 方面。
• 实验结果表明，代理在有限阶段后会收敛至推荐其稳定匹配伙伴臂，且排名较低的代理达到均衡所需时间更长。
• 热力图可视化证实，系统在有限但随机的时间后冻结至均衡状态，代理持续推荐其稳定匹配臂。
• 在 OSB（单步最优）实例中，尽管 UCB-D3 略逊于集中式 UCB（因去中心化设置中不可避免的碰撞），但其碰撞 regret 显著低于 ETC。
• 该算法在不同配置下均表现稳健，包括非 OSB 和 OSB 实例，在 30 次模拟试验中表现一致，且 95% 置信区间内稳定。