[論文レビュー] Distributed Asynchronous Policy Iteration for Sequential Zero-Sum Games and Minimax Control

Dimitri P. Bertsekas|arXiv (Cornell University)|Jul 21, 2021

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

本稿では、逐次ゼロ和ゲームおよびミニマックス制御のための分散非同期ポリシー反復フレームワークを導入し、交互に選択されるプレイヤーの選択を用いた収縮型ベルマン作用素により、従来のポリシー反復における収束問題を克服する。この手法は、一様な超ノルム収縮性を保証することでグローバル収束を実現し、状態空間の分割と非同期更新を用いることでスケーラブルかつ並列実装を可能にする。

ABSTRACT

We introduce a contractive abstract dynamic programming framework and related policy iteration algorithms, specifically designed for sequential zero-sum games and minimax problems with a general structure. Aside from greater generality, the advantage of our algorithms over alternatives is that they resolve some long-standing convergence difficulties of the "natural" policy iteration algorithm, which have been known since the Pollatschek and Avi-Itzhak method [PoA69] for finite-state Markov games. Mathematically, this "natural" algorithm is a form of Newton's method for solving Bellman's equation, but Newton's method, contrary to the case of single-player DP problems, is not globally convergent in the case of a minimax problem, because the Bellman operator may have components that are neither convex nor concave. Our algorithms address this difficulty by introducing alternating player choices, and by using a policy-dependent mapping with a uniform sup-norm contraction property, similar to earlier works by Bertsekas and Yu [BeY10], [BeY12], [YuB13]. Moreover, our algorithms allow a convergent and highly parallelizable implementation, which is based on state space partitioning, and distributed asynchronous policy evaluation and policy improvement operations within each set of the partition. Our framework is also suitable for the use of reinforcement learning methods based on aggregation, which may be useful for large-scale problem instances.

研究の動機と目的

• 非凸・非凹なベルマン作用素が原因で従来のポリシー反復が収束に失敗する長年の問題を解決すること。
• 逐次ゼロ和ゲームおよびミニマックス制御に適用可能な一般化された抽象的動的計画法フレームワークを構築すること。
• 状態空間の分割とポリシー評価／改善操作を用いて、スケーラブルで分散的かつ非同期的な実装を可能にすること。
• 集約手法を用いた強化学習により、大規模問題を扱えるようにすること。

提案手法

• 重み付き超ノルム収縮条件を満たすベルマン作用素 H(x, u, v, J) を備えた収縮型抽象的動的計画法フレームワークを導入する。
• 交互に選択されるプレイヤーの選択：最小化者 u ∈ U(x)、最大化者 v ∈ V(x) を選択し、一様収縮モジュラス α < 1 を持つ Tµ,ν 作用素を導出する。
• 総合的なベルマン作用素 T J(x) = infᵤ supᵥ H(x, u, v, J) を定義し、モジュラス α における収縮写像として証明する。
• 状態空間の分割と非同期更新を用いた分散的非同期更新によるポリシー反復を採用し、複数のプロセッサまたはエージェント間で並列実行を可能にする。
• 一様な超ノルム収縮を示すポリシー依存写像を用い、標準的なニュートン型手法が失敗する場合でも収束を保証する。
• 大規模問題のインスタンスに適応するため、集約に基づく手法を用いて強化学習との統合を支援する。

実験結果

リサーチクエスチョン

• RQ1 非凸・非凹なベルマン作用素を持つミニマックス問題におけるポリシー反復を、グローバル収束が保証される形にできるか？
• RQ2 収束を損なわず、分散的かつ非同期的にポリシー反復を実装する方法は何か？
• RQ3 どのような抽象的フレームワークが、逐次ゼロ和ゲームにおいて一般性と収束保証の両方を実現できるか？
• RQ4 提案手法は、集約と強化学習を用いて大規模問題にスケーリング可能か？
• RQ5 交互に選択されるプレイヤーの選択メカニズムは、標準的なポリシー反復と比較して安定性をどのように向上させるか？

主な発見

• 提案されたベルマン作用素 T は、重み付き超ノルムにおいてモジュラス α < 1 の収縮写像であり、一意の不動点 J* が存在する。
• 「自然な」ポリシー反復アルゴリズムは、ミニマックス問題において非凸・非凹成分のためグローバルに収束しないが、本フレームワークはその収束問題を克服する。
• 状態空間の分割と各パーティションごとの独立的ポリシー評価／改善により、分散的非同期実装が可能であり、収束も保証される。
• 集約を用いた強化学習統合が可能であり、大規模なマルコフゲームやミニマックス制御問題に適している。
• ポラツシェクとアヴィ・イツハック（1969年）およびホフマンとカープ（1966年）らの先行研究を一般化・改善し、それらが失敗する場合でも収束を保証する。
• 一様収縮モジュラス α ∈ (0,1) がすべてのポリシー対 (µ, ν) に対して存在するという弱い仮定のもと、理論的収束が証明されている。