[论文解读] Delay and Cooperation in Nonstochastic Bandits

Nicolò Cesa‐Bianchi, Claudio Gentile+2 more|arXiv (Cornell University)|Feb 15, 2016

Advanced Bandit Algorithms Research参考文献 36被引用 60

一句话总结

该论文提出 Exp3-Coop，一种协作式多智能体 bandit 算法，通过利用网络通信图中的延迟反馈来减少遗憾。通过利用延迟半径 $d$ 内智能体的信息，该算法实现了 $ \sqrt{(d+1+\frac{K}{N}\alpha_{\leq d})(T\ln K)}$ 的遗憾界，优于非协作 bandit 算法，并在图较密集时接近全信息下的最小最大遗憾。

ABSTRACT

We study networks of communicating learning agents that cooperate to solve a common nonstochastic bandit problem. Agents use an underlying communication network to get messages about actions selected by other agents, and drop messages that took more than $d$ hops to arrive, where $d$ is a delay parameter. We introduce extsc{Exp3-Coop}, a cooperative version of the {\sc Exp3} algorithm and prove that with $K$ actions and $N$ agents the average per-agent regret after $T$ rounds is at most of order $\sqrt{\bigl(d+1 + frac{K}{N}α_{\le d}\bigr)(T\ln K)}$, where $α_{\le d}$ is the independence number of the $d$-th power of the connected communication graph $G$. We then show that for any connected graph, for $d=\sqrt{K}$ the regret bound is $K^{1/4}\sqrt{T}$, strictly better than the minimax regret $\sqrt{KT}$ for noncooperating agents. More informed choices of $d$ lead to bounds which are arbitrarily close to the full information minimax regret $\sqrt{T\ln K}$ when $G$ is dense. When $G$ has sparse components, we show that a variant of extsc{Exp3-Coop}, allowing agents to choose their parameters according to their centrality in $G$, strictly improves the regret. Finally, as a by-product of our analysis, we provide the first characterization of the minimax regret for bandit learning with delay.

研究动机与目标

• 建模并分析在面临具有延迟反馈的非随机 bandit 问题时，网络中智能体的协作学习。
• 理解通信延迟和网络结构如何影响多智能体 bandit 设置下的集体遗憾。
• 设计一种利用邻近智能体延迟反馈以改善遗憾性能的协作算法。
• 刻画在延迟条件下 bandit 学习的最小最大遗憾，特别是单智能体情形。

提出的方法

• 提出 Exp3-Coop，一种用于非随机 bandit 的分布式协作版 Exp3 算法。
• 将延迟反馈建模为信息到达时间等于通信图中最短路径距离的延迟。
• 使用重要性加权损失估计，整合在 $d$ 步前由距离 $d$ 内智能体执行的动作的反馈。
• 定义通信图 $G$ 的 $d$ 次幂以捕捉有效信息传播范围，并在遗憾界中使用其独立数 $\alpha_{\leq d}$。
• 提出 Exp3-Coop 的一种变体，根据智能体中心性自适应调整参数，以提升稀疏网络中的性能。
• 通过将 Exp3 分布在 $d$ 步内的漂移与标准 Exp3 分析关联，分析遗憾，量化延迟下的策略稳定性。

实验结果

研究问题

• RQ1 网络中智能体的延迟反馈如何影响非随机 bandit 问题下的集体遗憾？
• RQ2 具有延迟信息的智能体之间的协作能否使遗憾低于非协作情形下的最小最大率 $\sqrt{KT}$？
• RQ3 在最小化平均福利遗憾方面，延迟 $d$ 与网络结构之间存在怎样的最优权衡？
• RQ4 通信图的 $d$ 次幂的独立数 $\alpha_{\leq d}$ 如何影响遗憾界？
• RQ5 基于智能体中心性的自适应参数调节能否在稀疏通信网络中改善遗憾？

主要发现

• Exp3-Coop 的平均每个智能体的遗憾被限制在 $\sqrt{(d+1+\frac{K}{N}\alpha_{\leq d})(T\ln K)}$，其中 $\alpha_{\leq d}$ 是通信图的 $d$ 次幂的独立数。
• 当 $d = \sqrt{K}$ 时，遗憾界变为 $K^{1/4}\sqrt{T\ln K} + \sqrt{K}\ln T$，严格优于非协作情形的 $\sqrt{KT}$。
• 对于密集图，通过选择合适的 $d$，遗憾界可任意接近全信息下的最小最大遗憾 $\sqrt{T\ln K}$。
• 在稀疏网络中，基于中心性的参数调优的 Exp3-Coop 变体实现了严格优于标准 Exp3-Coop 的遗憾。
• 该分析首次（在对数因子范围内）刻画了具有延迟的非随机 bandit 学习的最小最大遗憾，单智能体情形下为 $\sqrt{(d+K)T}$。
• Exp3-Coop 的单智能体版本优于 Neu 等人先前的 $\sqrt{(d+1)KT}$ 上界，实现了最优的 $\sqrt{(d+K)T}$ 依赖关系。