[论文解读] Kernel Methods for Cooperative Multi-Agent Contextual Bandits

Abhimanyu Dubey, Alex Pentland|arXiv (Cornell University)|Aug 14, 2020

Advanced Bandit Algorithms Research参考文献 56被引用 7

一句话总结

该论文提出 Coop-KernelUCB，一种基于核函数的算法，用于具有延迟通信的协作式多智能体上下文Bandit问题，能够在奖励函数不完全相同的智能体之间实现高效且精确的遗憾最小化。通过结合动作相似性与智能体相似性的乘积核，该方法在去中心化网络中实现了接近最优的单个智能体遗憾，同时保持了计算与通信效率。

ABSTRACT

Cooperative multi-agent decision making involves a group of agents cooperatively solving learning problems while communicating over a network with delays. In this paper, we consider the kernelised contextual bandit problem, where the reward obtained by an agent is an arbitrary linear function of the contexts' images in the related reproducing kernel Hilbert space (RKHS), and a group of agents must cooperate to collectively solve their unique decision problems. For this problem, we propose extsc{Coop-KernelUCB}, an algorithm that provides near-optimal bounds on the per-agent regret, and is both computationally and communicatively efficient. For special cases of the cooperative problem, we also provide variants of extsc{Coop-KernelUCB} that provides optimal per-agent regret. In addition, our algorithm generalizes several existing results in the multi-agent bandit setting. Finally, on a series of both synthetic and real-world multi-agent network benchmarks, we demonstrate that our algorithm significantly outperforms existing benchmarks.

研究动机与目标

• 解决每个智能体面临不同但相关联的奖励函数的协作式多智能体上下文Bandit问题，而非假设奖励函数完全相同或属于聚类。
• 设计一种通信高效的算法，以处理网络化智能体中的延迟消息传播问题。
• 通过引入核方法来建模智能体之间的函数相似性，推广现有Bandit算法。
• 在智能体具有不同决策问题但共享潜在结构相似性的场景下，实现接近最优的遗憾边界。
• 在合成数据与真实世界多智能体网络任务上，展示相对于现有基准方法的实证优越性。

提出的方法

• 该算法使用乘积核 $ K = K_z \odot K_x $，结合上下文核 $ K_x $ 与智能体相似性核 $ K_z $，在再生核Hilbert空间（RKHS）中建模奖励函数。
• 采用本地通信协议，智能体交换包含其上下文-动作对与奖励的消息，实现在无全局同步情况下的分布式估计。
• 该方法维护过去观测的缓冲区，并使用带在线更新规则的核岭回归，计算动作选择的后验均值与方差估计。
• 通过修改后的UCB规则计算置信上界，同时结合估计奖励与不确定性，并由置信参数 $ \eta $ 缩放。
• 通过秩一更新动态维护逆Gram矩阵，以确保在线学习过程中的计算效率。
• 针对特殊情况，引入了Eager-KernelUCB与Dist-KernelUCB等变体，以在不同网络拓扑与通信约束下优化性能。

实验结果

研究问题

• RQ1 在具有延迟通信的协作式多智能体Bandit设置中，核方法能否有效建模非相同奖励函数之间的相似性？
• RQ2 如何设计通信机制，以在避免因平均不相似智能体估计值而引入偏差的同时，最小化遗憾？
• RQ3 当每个智能体具有不同但相关的奖励函数时，协作式多智能体算法的理论遗憾边界是什么？
• RQ4 结合动作相似性与智能体相似性的乘积核，是否能相比标准多智能体Bandit算法提升学习效率？
• RQ5 与现有方法相比，该算法在真实世界与合成多智能体网络基准任务上的实际表现如何？

主要发现

• Coop-KernelUCB 在具有延迟通信和非相同奖励函数的协作式多智能体上下文Bandit问题中，实现了接近最优的单个智能体遗憾边界。
• 该算法通过允许每个智能体拥有唯一的奖励函数，同时利用智能体相似性核 $ K_z $ 捕捉共享结构，推广了现有结果。
• 实证评估显示，该算法在合成与真实世界多智能体网络任务中，相对于现有基准方法均表现出显著性能提升。
• 使用乘积核 $ K = K_z \odot K_x $ 有效实现了具有相似奖励函数的智能体之间的知识迁移，提升了样本效率。
• 基于本地消息传递的通信协议避免了在非相同设置下因简单平均而引入的偏差，维持了低遗憾水平。
• Eager-KernelUCB 与 Dist-KernelUCB 等变体在特定网络配置下实现了最优遗憾标度，展示了该框架的灵活性。