[论文解读] Learning Zero-Sum Simultaneous-Move Markov Games Using Function Approximation and Correlated Equilibrium

Qiaomin Xie, Yudong Chen+2 more|arXiv (Cornell University)|Feb 17, 2020

Reinforcement Learning in Robotics参考文献 87被引用 5

一句话总结

本文提出了首个在具有线性函数逼近的双人零和马尔可夫博弈中，针对同时行动的可证明高效的强化学习算法。该算法引入了一种基于相关均衡的乐观极小化值迭代方法，以实现探索，实现了在无需额外采样假设条件下的 $×sim O(\sqrt{d^3 H^3 T})$ regret 和对偶间隙上界。

ABSTRACT

We develop provably efficient reinforcement learning algorithms for two-player zero-sum finite-horizon Markov games with simultaneous moves. To incorporate function approximation, we consider a family of Markov games where the reward function and transition kernel possess a linear structure. Both the offline and online settings of the problems are considered. In the offline setting, we control both players and aim to find the Nash Equilibrium by minimizing the duality gap. In the online setting, we control a single player playing against an arbitrary opponent and aim to minimize the regret. For both settings, we propose an optimistic variant of the least-squares minimax value iteration algorithm. We show that our algorithm is computationally efficient and provably achieves an $ ilde O(\sqrt{d^3 H^3 T} )$ upper bound on the duality gap and regret, where $d$ is the linear dimension, $H$ the horizon and $T$ the total number of timesteps. Our results do not require additional assumptions on the sampling model. Our setting requires overcoming several new challenges that are absent in Markov decision processes or turn-based Markov games. In particular, to achieve optimism with simultaneous moves, we construct both upper and lower confidence bounds of the value function, and then compute the optimistic policy by solving a general-sum matrix game with these bounds as the payoff matrices. As finding the Nash Equilibrium of a general-sum game is computationally hard, our algorithm instead solves for a Coarse Correlated Equilibrium (CCE), which can be obtained efficiently. To our best knowledge, such a CCE-based scheme for optimism has not appeared in the literature and might be of interest in its own right.

研究动机与目标

• 解决在具有函数逼近的复杂高维环境中，多智能体强化学习缺乏理论保证的问题。
• 为双人零和马尔可夫博弈设计一个可证明高效的算法，其特点为同时行动，且智能体无法访问环境的转移模型或采样预言机。
• 通过在值函数上构建上界和下界置信区间，克服在同时行动设置下探索与乐观性带来的挑战。
• 在具有线性结构的环境下，实现离线（通过最小化对偶间隙达到纳什均衡）与在线（通过最小化 regret）学习的高效性。
• 提出一种基于 CCE 的新颖乐观机制，避免求解计算困难的纳什均衡问题，同时保持理论保证。

提出的方法

• 提出一种乐观极小化值迭代（OMNI-VI）算法，利用最小二乘估计学习带置信区间的值函数。
• 为值函数构建上界和下界置信区间，以在同时行动设置中实现乐观性。
• 采用一般和矩阵博弈的公式化方法，将置信区间矩阵作为收益，以计算乐观策略。
• 以粗略相关均衡（CCE）求解替代纳什均衡计算，该方法计算高效且在有界扰动下保持稳定。
• 利用转移核和奖励函数中的线性结构，其参数由已知的 $d$-维特征映射表示。
• 应用一种离散化方案，将连续权重向量的近似误差控制在 $×varepsilon / \sqrt{d}$ 以内，从而在高维空间中实现高效计算。

实验结果

研究问题

• RQ1 我们能否在具有线性函数逼近的零和同时行动马尔可夫博弈中，设计出一个可证明高效的强化学习算法？
• RQ2 在标准值迭代因缺乏轮流行动结构而失效的同步行动博弈中，乐观性应如何有效实现？
• RQ3 是否可以将粗略相关均衡（CCE）作为纳什均衡的可计算替代方案，用于构建乐观策略？
• RQ4 在不引入额外采样假设的前提下，此类设置下可达到的最优 regret 和对偶间隙上界是什么？
• RQ5 CCE 值在收益矩阵扰动下的稳定性如何？这是否会影响算法的理论保证？

主要发现

• 所提出的 OMNI-VI 算法在在线设置下的 regret 和离线设置下的对偶间隙上界均达到 $×sim O(\sqrt{d^3 H^3 T})$。
• 该算法计算高效，无需访问采样预言机或模型估计，适用于高维环境。
• 使用 CCE 而非纳什均衡，可在保持理论性能保证的同时实现高效的策略计算。
• 本文表明，CCE 的值在收益矩阵扰动下并非利普希茨连续，凸显了稳定性分析中的关键挑战。
• 通过反例表明，收益矩阵的微小变化可能导致 CCE 结果发生大幅波动，但算法由于置信区间构造仍保持鲁棒性。
• 对权重向量的离散化确保了近似误差被限制在 $\epsilon / \sqrt{d}$ 以内，从而在高维线性模型中实现高效实现。