[論文レビュー] Independent Learning in Stochastic Games

Asuman Ozdaglar, Muhammed O. Sayin+1 more|arXiv (Cornell University)|Nov 23, 2021

Advanced Bandit Algorithms Research参考文献 71被引用数 4

ひとこと要約

本稿は、エージェント間の協調を必要とせず、収束を保証するゼロサム確率的ゲームにおける新しい独立学習ダイナミクスを提案する。非対称ステップサイズを用いたベストリスポンス更新を用いて、仮想的プレイを動的環境へ拡張することで、モデルベース、モデルフリー、最小情報設定のすべてにおいて収束を達成し、非定常環境におけるマルチエージェント強化学習の分散型ソリューションを提供する。

ABSTRACT

Reinforcement learning (RL) has recently achieved tremendous successes in many artificial intelligence applications. Many of the forefront applications of RL involve multiple agents, e.g., playing chess and Go games, autonomous driving, and robotics. Unfortunately, the framework upon which classical RL builds is inappropriate for multi-agent learning, as it assumes an agent's environment is stationary and does not take into account the adaptivity of other agents. In this review paper, we present the model of stochastic games for multi-agent learning in dynamic environments. We focus on the development of simple and independent learning dynamics for stochastic games: each agent is myopic and chooses best-response type actions to other agents' strategy without any coordination with her opponent. There has been limited progress on developing convergent best-response type independent learning dynamics for stochastic games. We present our recently proposed simple and independent learning dynamics that guarantee convergence in zero-sum stochastic games, together with a review of other contemporaneous algorithms for dynamic multi-agent learning in this setting. Along the way, we also reexamine some classical results from both the game theory and RL literature, to situate both the conceptual contributions of our independent learning dynamics, and the mathematical novelties of our analysis. We hope this review paper serves as an impetus for the resurgence of studying independent and natural learning dynamics in game theory, for the more challenging settings with a dynamic environment.

研究の動機と目的

• 古典的強化学習が定常環境を仮定するのに対し、確率的ゲームにおける収束性・独立性を有する学習ダイナミクスの欠如に取り組む。
• 相手の目的を知る必要もなく、協調を要しない分散型学習ルールを開発する。
• 仮想的プレイ型ダイナミクスを、確率的ゲームのような非定常的・動的環境へ拡張する。
• モデルベース、モデルフリー、最小情報の3つの情報設定において収束保証を確立する。
• ベストリスポンスダイナミクスと確率的ゲーム理論を組み合わせることで、ゲーム理論と強化学習を統合する。

提案手法

• 各エージェントが相手の過去の行動の経験的推定に基づいて戦略を更新する、仮想的プレイにインspiredされた学習ルールを提案する。
• 1つのエージェントが他よりも速く更新される非対称ステップサイズを用いることで、ゼロサム確率的ゲームにおける収束を保証する。
• 完全なモデル知識、部分的なモデル知識、相手の行動の最小限の観測という3つの情報レジームに応用する。
• 連続時間埋め込みにおいて継続報酬メカニズムを用い、学習中にゼロサム構造を維持する。
• 動的遷移と報酬推定を処理するため、ゲーム理論と強化学習のアイデアを統合する。
• 確率的近似とリャプノフベースの技術を用いて収束を分析し、漸近的にナッシュ均衡に収束することを保証する。

実験結果

リサーチクエスチョン

• RQ1 エージェント間の協調を要せず、独立的でベストリスポンス型の学習ダイナミクスがゼロサム確率的ゲームで収束可能か？
• RQ2 仮想的プレイは、非定常的遷移を伴う動的環境へどのように拡張可能か？
• RQ3 エージェントが相手の戦略や報酬関数について限られた情報、あるいは全くの情報なしに学習可能である場合、どのような学習保証が可能か？
• RQ4 無限時間割引確率的ゲームにおいて、分散型学習ダイナミクスが収束を達成可能か？
• RQ5 非対称な更新速度は、競争的で動的環境における学習の安定化にどのような役割を果たすか？

主な発見

• 提案された独立学習ダイナミクスは、モデルベース、モデルフリー、最小情報の3つの情報設定すべてにおいて、ゼロサム確率的ゲームでナッシュ均衡に収束する。
• 最小情報設定において、エージェントが相手の行動を観測すらしなくても収束が達成される。
• 非対称ステップサイズの使用により収束が達成されるが、対称的または協調的な更新ルールでは収束しない可能性がある。
• 本手法は、確率的ゲームにおける完全に分散型で独立した学習の収束保証を初めて提供し、長年の文献的ギャップを埋める。
• 解析は連続時間埋め込みへ拡張され、時間平均継続報酬メカニズムを介してゼロサム構造を保持する形で収束を確立する。
• フレームワークはモデルの不確実性に強く、未知の遷移確率や報酬関数を伴う環境でも学習を可能にする。