[论文解读] Distributed Asynchronous Policy Iteration for Sequential Zero-Sum Games and Minimax Control

Dimitri P. Bertsekas|arXiv (Cornell University)|Jul 21, 2021

Reinforcement Learning in Robotics被引用 5

一句话总结

本文提出了一种用于序列零和博弈与极小极大控制的分布式异步策略迭代框架，采用具有交替玩家选择的压缩贝尔曼算子，以解决传统策略迭代在收敛性方面的问题。该方法通过一致的上范数压缩性质确保全局收敛，并通过状态空间划分与异步更新实现可扩展的并行实现。

ABSTRACT

We introduce a contractive abstract dynamic programming framework and related policy iteration algorithms, specifically designed for sequential zero-sum games and minimax problems with a general structure. Aside from greater generality, the advantage of our algorithms over alternatives is that they resolve some long-standing convergence difficulties of the "natural" policy iteration algorithm, which have been known since the Pollatschek and Avi-Itzhak method [PoA69] for finite-state Markov games. Mathematically, this "natural" algorithm is a form of Newton's method for solving Bellman's equation, but Newton's method, contrary to the case of single-player DP problems, is not globally convergent in the case of a minimax problem, because the Bellman operator may have components that are neither convex nor concave. Our algorithms address this difficulty by introducing alternating player choices, and by using a policy-dependent mapping with a uniform sup-norm contraction property, similar to earlier works by Bertsekas and Yu [BeY10], [BeY12], [YuB13]. Moreover, our algorithms allow a convergent and highly parallelizable implementation, which is based on state space partitioning, and distributed asynchronous policy evaluation and policy improvement operations within each set of the partition. Our framework is also suitable for the use of reinforcement learning methods based on aggregation, which may be useful for large-scale problem instances.

研究动机与目标

• 解决标准策略迭代在极小极大问题中因贝尔曼算子非凸/非凹而导致的长期收敛失败问题。
• 开发一个适用于序列零和博弈与极小极大控制的一般性抽象动态规划框架。
• 通过状态空间划分与策略评估/改进操作，实现可扩展、分布式及异步的实现。
• 通过聚合技术支持大规模问题的强化学习应用。

提出的方法

• 引入一种具有贝尔曼算子 H(x, u, v, J) 的压缩抽象动态规划框架，该算子满足加权上范数压缩条件。
• 采用交替玩家选择机制：最小化者选择 u ∈ U(x)，最大化者选择 v ∈ V(x)，从而导出具有统一压缩模数 α < 1 的 Tµ,ν 算子。
• 定义整体贝尔曼算子 T J(x) = infᵤ supᵥ H(x, u, v, J)，并证明其为压缩映射，其模数为 α。
• 通过状态空间划分实现分布式异步更新的策略迭代，支持在多个处理器或智能体上并行执行。
• 采用具有统一上范数压缩性质的策略相关映射，即使在标准牛顿型方法失效时也能保证收敛。
• 通过基于聚合的方法支持强化学习集成，适用于大规模问题实例。

实验结果

研究问题

• RQ1 能否在贝尔曼算子非凸/非凹的情况下，使极小极大问题的策略迭代实现全局收敛？
• RQ2 如何在不牺牲收敛性的前提下，以分布式和异步方式实现策略迭代？
• RQ3 何种抽象框架能够在序列零和博弈中同时保证通用性与收敛性？
• RQ4 所提方法是否可通过聚合与强化学习扩展至大规模问题？
• RQ5 交替玩家选择机制相比标准策略迭代如何提升稳定性？

主要发现

• 在加权上范数下，所提出的贝尔曼算子 T 是模数 α < 1 的压缩映射，确保存在唯一的不动点 J*。
• 该框架克服了‘自然’策略迭代算法在极小极大问题中因非凸/非凹分量而导致的全局收敛失败问题。
• 分布式异步实现是可行且收敛的，其基础为状态空间划分以及各分区独立的策略评估/改进操作。
• 该方法支持基于聚合的强化学习，适用于大规模马尔可夫博弈与极小极大控制问题。
• 该方法在理论上推广并改进了先前方法（如 Pollatschek 和 Avi-Itzhak, 1969；Hoffman 和 Karp, 1966），在以往方法可能失效时仍能保证收敛。
• 在较弱假设下证明了理论收敛性，包括所有策略对 (µ, ν) 存在统一的压缩模数 α ∈ (0,1)。