[論文レビュー] Decentralized Q-Learning in Zero-sum Markov Games

Muhammed O. Sayin, Kaiqing Zhang+3 more|Lancaster EPrints (Lancaster University)|Jun 4, 2021

Reinforcement Learning in Robotics参考文献 66被引用数 8

ひとこと要約

本稿では、中央集権的調整なしにナッシュ均衡に収束する非協力的ゼロ和マルコフゲームにおける分散型Q学習アルゴリズムを提案する。エージェントは局所的な報酬と行動のみを用いて学習し、Q値と価値関数を独立に推定する二段階時定数更新ルールを採用することで、相手が定常的である場合には最良応答に収束し、両エージェントが動的学習を行う場合にはナッシュ均衡に収束することを保証する。

ABSTRACT

We study multi-agent reinforcement learning (MARL) in infinite-horizon discounted zero-sum Markov games. We focus on the practical but challenging setting of decentralized MARL, where agents make decisions without coordination by a centralized controller, but only based on their own payoffs and local actions executed. The agents need not observe the opponent's actions or payoffs, possibly being even oblivious to the presence of the opponent, nor be aware of the zero-sum structure of the underlying game, a setting also referred to as radically uncoupled in the literature of learning in games. In this paper, we develop a radically uncoupled Q-learning dynamics that is both rational and convergent: the learning dynamics converges to the best response to the opponent's strategy when the opponent follows an asymptotically stationary strategy; when both agents adopt the learning dynamics, they converge to the Nash equilibrium of the game. The key challenge in this decentralized setting is the non-stationarity of the environment from an agent's perspective, since both her own payoffs and the system evolution depend on the actions of other agents, and each agent adapts her policies simultaneously and independently. To address this issue, we develop a two-timescale learning dynamics where each agent updates her local Q-function and value function estimates concurrently, with the latter happening at a slower timescale.

研究の動機と目的

• エージェントの適応的方策による環境の変化に起因する非定常性の課題に対処すること。
• 最小限の情報仮定の下で、証明可能な収束を達成するマルチエージェント強化学習（MARL）アルゴリズムの開発：エージェントは相手の行動、報酬、ゼロ和構造を知らなくてもよい。
• 無限時間割引ゼロ和マルコフゲームにおいて、局所的学習ダイナミクスのみを用いてナッシュ均衡に収束することの実現。
• エージェントが互いの存在を無知である（完全に分離されている）状況下でも、合理的な学習行動を維持しながら、ロバスト性を確保すること。

提案手法

• エージェントがQ値と価値関数の推定を同時に更新する二段階時定数学習ダイナミクスを提案し、価値関数の更新はより遅く行う。
• 局所的な報酬と行動観測を用いてQ関数と価値関数を推定し、ボルツマン方策を用いて探索を実施する。
• 相手が定常的である場合に最良応答戦略に収束するよう、時間的な方策の重み付き平均を導入する。
• 確率的近似理論を適用し、相手の戦略を確率的環境とみなすことにより、弱い仮定の下での収束を証明する。
• 相手の行動を確率的イベントとしてモデル化することで、確率的報酬および遷移ダイナミクスに対しても収束解析を一般化する。
• 協調や相手の戦略に関する知識を一切排除することで、アルゴリズムが完全に分散型であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 エージェントが相手の行動や報酬にアクセスできない状況下で、分散型Q学習アルゴリズムはゼロ和マルコフゲームにおいてナッシュ均衡に収束可能か？
• RQ2 相手の戦略が非定常的であり、局所的にのみ観測可能である場合、エージェントはどのように合理的な学習行動（最良応答に収束）を達成できるか？
• RQ3 エージェントが互いの存在を無知である（極端な分離状態）という最小限の情報仮定下で、どのような学習ダイナミクスが収束を保証するか？
• RQ4 二段階時定数Q学習アプローチは、同時的な方策適応によって生じる非定常環境において学習を安定化できるか？
• RQ5 どのような条件下でアルゴリズムは正確なナッシュ均衡に収束し、どのような条件下で近似最良応答戦略に収束するか？

主な発見

• 一方のエージェントが漸近的に定常的戦略に従う場合、他方のエージェントの価値関数推定値は確率的に1に収束し、仮定1のもとで誤差は $ \epsilon \xi^i g(\gamma) $ で有界である。
• より強い仮定（仮定2）のもとでは、価値関数推定値は正確に最良応答価値に収束し、$ \lim_{k\to\infty} |\hat{v}_{s,k}^i - \max_{\pi^i} v_{\pi^i,\tilde{\pi}^{-i}}^i(s)| = 0 $ が確率的に1で成立する。
• 方策の重み付き平均は最良応答戦略に収束する：仮定1のもとで $ \limsup_{k\to\infty} \left( \max_{\pi^i} v_{\pi^i,\tilde{\pi}^{-i}}^i(s) - v_{\hat{\pi}_k^i,\tilde{\pi}^{-i}}^i(s) \right) \leq \epsilon \xi^i h(\gamma) $ が成立する。
• 両エージェントが学習ダイナミクスを用いる場合、アルゴリズムは確率的に1でゲームのナッシュ均衡に収束する。
• $ \gamma = 0.5 $ で20状態・1状態あたり10行動のゲームにおけるシミュレーションは、理論的収束を確認しており、密度の高い複雑なプロットでさえも大規模設定でも成立する。
• 相手の戦略が漸近的に定常的であれば、確率的報酬および遷移ダイナミクス下でもアルゴリズムはロバストであり、理論的枠組みの有効性が裏付けられる。