[论文解读] Contextual Games: Multi-Agent Learning with Side Information

Pier Giuseppe Sessa, Ilija Bogunovic+2 more|arXiv (Cornell University)|Jul 13, 2021

Advanced Bandit Algorithms Research被引用 6

一句话总结

本文提出上下文博弈（contextual games），这是一种新型的重复多智能体博弈，玩家在行动前可观察到与上下文相关的资讯。通过利用基于核函数的正则性假设，并提出一种新颖的在线算法（c.GP-MW），作者实现了次线性上下文遗憾（contextual regret），并证明了其收敛至上下文粗相关均衡（contextual Coarse Correlated Equilibria）与最优福利，其在具有现实意义的交通路由实验中优于基线方法。

ABSTRACT

We formulate the novel class of contextual games, a type of repeated games driven by contextual information at each round. By means of kernel-based regularity assumptions, we model the correlation between different contexts and game outcomes and propose a novel online (meta) algorithm that exploits such correlations to minimize the contextual regret of individual players. We define game-theoretic notions of contextual Coarse Correlated Equilibria (c-CCE) and optimal contextual welfare for this new class of games and show that c-CCEs and optimal welfare can be approached whenever players' contextual regrets vanish. Finally, we empirically validate our results in a traffic routing experiment, where our algorithm leads to better performance and higher welfare compared to baselines that do not exploit the available contextual information or the correlations present in the game.

研究动机与目标

• 建模现实世界中的多智能体系统，其中博弈动态随上下文因素（如天气或网络容量）而变化。
• 解决标准重复博弈中假设博弈结构恒定的局限性，此类假设在现实中往往不切实际。
• 为动态、依赖上下文的环境定义新的博弈论基准——上下文粗相关均衡（c-CCE）与最优上下文福利。
• 设计一种去中心化、在线学习算法，利用上下文与结果之间的相关性，以最小化个体玩家的上下文遗憾。
• 在现实的交通路由场景中实证验证所提框架，展示系统整体效率与性能的提升。

提出的方法

• 提出一类新博弈——上下文博弈，其中每轮由一个在行动前可观察到的上下文（如网络容量）定义。
• 引入上下文遗憾作为性能基准，衡量与最优上下文相关策略映射的偏离程度。
• 采用基于核函数的正则性假设，以建模不同上下文及其对应博弈结果之间的相似性，从而实现更平滑的奖励估计。
• 设计一种新颖的在线算法 c.GP-MW，结合高斯过程回归与乘法权重更新，以利用上下文间的相关性。
• 使用复合核函数，将动作与聚合状态特征与上下文特征结合，以建模奖励依赖关系。
• 推导理论遗憾界，显示遗憾随时间呈次线性增长，且依赖于上下文集合大小与样本复杂度参数 γT，优于标准上下文Bandit算法。

实验结果

研究问题

• RQ1 在重复博弈中，通过引入随时间变化的辅助信息（上下文），能否提升多智能体学习性能？
• RQ2 如何建模并利用不同上下文与博弈结果之间的相关性，以减少多智能体系统中个体的遗憾？
• RQ3 在存在上下文信息的情况下，会涌现出何种新型博弈论均衡？能否通过学习方法逼近这些均衡？
• RQ4 去中心化、在线算法能否在非平稳、依赖上下文的博弈中实现低上下文遗憾，同时保持向高效结果收敛？
• RQ5 在现实应用中，所提算法相较于忽略上下文或未能利用其相关性的基线方法，性能表现如何？

主要发现

• 所提出的 c.GP-MW 算法实现了 O(√(T|Z|log K) + γT√T) 的上下文遗憾界，其随动作数 K 呈对数增长，显著优于标准 Bandit 算法。
• 当上下文为随机且私有时，该算法实现了 O(√(T log K) + γT√T) 的伪遗憾界，优于现有方法（后者需已知上下文分布或能观测未揭示的奖励）。
• 在交通路由实验中，c.GP-MW 实现了比 No-Learning、GP-MW 和 RobustLinExp3 基线更低的平均出行时间与更少的网络拥塞。
• c.GP-MW 中使用规则 (5) 的策略优于规则 (4)，可能因其更契合上下文信息的随机性与局部特性。
• 理论分析表明，上下文遗憾趋于零意味着收敛至上下文粗相关均衡（c-CCE）与最优上下文福利。
• 实证结果证实，最小化个体上下文遗憾可带来更高的系统整体福利，与路由博弈的平滑性特征一致。