[论文解读] Dominate or Delete: Decentralized Competing Bandits with Uniform Valuation.

Abishek Sankararaman, Soumya Basu+1 more|arXiv (Cornell University)|Jun 26, 2020

Advanced Bandit Algorithms Research参考文献 13被引用 7

一句话总结

本文提出一种名为 ame 的去中心化算法，用于在统一估值下匹配多臂赌博机（bandits），其中代理在奖励未知的臂之间竞争。该算法采用分阶段探索、对非支配臂的动态UCB，以及纯利用策略进行协调，实现了 $O(\log T / \Delta^2)$ 的遗憾，且无需事先知道奖励差距或时间范围，从而部分解决了匹配赌博机领域的一个开放问题。

ABSTRACT

We study regret minimization problems in a two-sided matching market where uniformly valued demand side agents (a.k.a. agents) continuously compete for getting matched with supply side agents (a.k.a. arms) with unknown and heterogeneous valuations. Such markets abstract online matching platforms (for e.g. UpWork, TaskRabbit) and falls within the purview of matching bandit models introduced in Liu et al. \cite{matching_bandits}. The uniform valuation in the demand side admits a unique stable matching equilibrium in the system. We design the first decentralized algorithm - \fullname\; ( ame), for matching bandits under uniform valuation that does not require any knowledge of reward gaps or time horizon, and thus partially resolves an open question in \cite{matching_bandits}. ame\; works in phases of exponentially increasing length. In each phase $i$, an agent first deletes dominated arms -- the arms preferred by agents ranked higher than itself. Deletion follows dynamic explore-exploit using UCB algorithm on the remaining arms for $2^i$ rounds. {Finally, the preferred arm is broadcast in a decentralized fashion to other agents through {\em pure exploitation} in $(N-1)K$ rounds with $N$ agents and $K$ arms.} Comparing the obtained reward with respect to the unique stable matching, we show that ame\; achieves $O(\log(T)/\Delta^2)$ regret in $T$ rounds, where $\Delta$ is the minimum gap across all agents and arms. We provide a (orderwise) matching regret lower-bound.

研究动机与目标

• 解决在代理对臂的奖励未知的去中心化双边匹配市场中最小化遗憾的挑战。
• 设计一种无需事先知晓奖励差距或时间范围的算法，以回应 Liu 等人（2023）提出的一个开放问题。
• 在去中心化方式下实现代理间的高效协调，同时最小化遗憾。
• 建立一个与已知下界阶数一致的理论遗憾界。

提出的方法

• 该算法在长度呈指数增长的阶段中运行，以实现自适应的探索与利用。
• 在每个阶段，代理首先删除被更高排名代理支配的臂，从而缩小有效动作空间。
• 代理在剩余的非支配臂上应用UCB算法，持续 $2^i$ 轮，以平衡探索与利用。
• 探索阶段结束后，代理通过在 $(N-1)K$ 轮内进行纯利用广播其首选臂，以确保去中心化的协调。
• 该算法通过利用统一估值结构，确保代理收敛至唯一的稳定匹配。
• 设计避免了集中协调，完全依赖本地决策与广播机制。

实验结果

研究问题

• RQ1 在统一估值下，去中心化算法是否能在不事先知晓奖励差距或时间范围的前提下，实现匹配赌博机中的次线性遗憾？
• RQ2 在统一估值下，去中心化匹配赌博机的遗憾根本极限是什么？
• RQ3 代理如何在无集中控制或共享随机性的情况下，高效协调到首选臂？
• RQ4 采用分阶段探索的动态探索-利用策略是否能实现最优的遗憾缩放？
• RQ5 所提出的算法是否在阶数上达到理论下界？

主要发现

• ame 算法在 $T$ 轮内实现了 $O(\log T / \Delta^2)$ 的遗憾，其中 $\Delta$ 是代理与臂之间最小的奖励差距。
• 遗憾界在阶数上是最优的，因其与推导出的匹配下界一致。
• 该算法无需预先知晓时间范围或奖励差距参数。
• 采用指数长度的分阶段探索，确保所有代理高效学习。
• 在每个阶段删除被支配的臂，可缩小有效动作空间，提升学习效率。
• 通过在 $(N-1)K$ 轮内进行纯利用实现的去中心化协调，可在无需集中协调的情况下实现稳定匹配的收敛。