[论文解读] Individual Regret in Cooperative Nonstochastic Multi-Armed Bandits

Yogev Bar-On, Yishay Mansour|arXiv (Cornell University)|Jul 7, 2019

Advanced Bandit Algorithms Research被引用 10

一句话总结

本文提出了用于合作性非随机多臂赌博机的分布式后悔最小化算法，其中代理通过网络通信以减少个体后悔。该方法实现了每个代理 $v$ 的个体期望后悔为 $\tilde{O}\big(\big(1 + \frac{K}{|\mathcal{N}(v)|}\big)^{1/2} \sqrt{T}\big)$，解决了 Cesa-Bianchi 等人（2019b）提出的开放问题，无论通信图是否已知，性能差异仅在对数级别以内。

ABSTRACT

We study agents communicating over an underlying network by exchanging messages, in order to optimize their individual regret in a common nonstochastic multi-armed bandit problem. We derive regret minimization algorithms that guarantee for each agent $v$ an individual expected regret of $\widetilde{O}\left(\sqrt{\left(1+\frac{K}{\left|\mathcal{N}\left(v ight) ight|} ight)T} ight)$, where $T$ is the number of time steps, $K$ is the number of actions and $\mathcal{N}\left(v ight)$ is the set of neighbors of agent $v$ in the communication graph. We present algorithms both for the case that the communication graph is known to all the agents, and for the case that the graph is unknown. When the graph is unknown, each agent knows only the set of its neighbors and an upper bound on the total number of agents. The individual regret between the models differs only by a logarithmic factor. Our work resolves an open problem from [Cesa-Bianchi et al., 2019b].

研究动机与目标

• 解决代理通过网络通信的合作性非随机多臂赌博机问题中的个体后悔最小化问题。
• 设计算法，确保每个代理在缺乏全局信息的情况下仍能实现低个体后悔。
• 解决 Cesa-Bianchi 等人（2019b）提出的关于在已知与未知通信图设置下后悔边界的开放问题。
• 分析网络结构——特别是局部邻域大小——对个体后悔性能的影响。

提出的方法

• 代理通过固定通信图进行通信，交换信息以共享关于动作奖励和决策的内容。
• 该算法采用基于置信区间和邻居间奖励局部平均的去中心化探索-利用策略。
• 对于未知图，代理使用分布式估计过程推断网络结构，并维持一致的后悔边界。
• 后悔分析利用集中不等式和网络连通性特性，将个体后悔以局部邻域大小 $|\mathcal{N}(v)|$ 表示。
• 关键组成部分是利用邻居间奖励的加权平均，以降低方差并提升个体性能。
• 该算法可适应已知与未知图设置，其后悔性能仅存在对数因子差异。

实验结果

研究问题

• RQ1 当代理仅通过网络进行局部通信时，能否在合作性非随机多臂赌博机中实现个体后悔最小化？
• RQ2 代理的邻域大小 $|\mathcal{N}(v)|$ 如何影响其个体后悔边界？
• RQ3 当通信图对代理未知时，可实现的最优后悔性能是什么？
• RQ4 与集中式或完全知情设置相比，所提算法在后悔缩放方面表现如何？
• RQ5 Cesa-Bianchi 等人（2019b）提出的关于合作赌博机中个体后悔的开放问题，在一般网络拓扑下能否得到解决？

主要发现

• 所提算法保证每个代理 $v$ 的个体期望后悔为 $\widetilde{O}\big(\big(1 + \frac{K}{|\mathcal{N}(v)|}\big)^{1/2} \sqrt{T}\big)$，其中 $T$ 为时间范围，$K$ 为动作数。
• 后悔边界与邻居数量的平方根成反比，表明邻居越多的代理其后悔越低。
• 即使通信图未知，该算法仍近乎最优运行，其后悔与已知图情况相比仅存在对数因子差异。
• 该结果解决了 Cesa-Bianchi 等人（2019b）提出的关于合作性非随机赌博机中个体后悔的开放问题。
• 分析表明，仅依赖局部信息与通信即可实现近乎最优的后悔，无需掌握网络的全局知识。