[論文レビュー] Finite-Sample Analysis of Decentralized Q-Learning for Stochastic Games

Zuguang Gao, Qianqian Ma+2 more|arXiv (Cornell University)|Dec 15, 2021

Auction Theory and Applications被引用数 4

ひとこと要約

本稿は、弱的巡回性のある確率的ゲームにおける分散型Q学習の有限標本収束保証を提供し、表形式および線形関数近似設定の両方における標本複雑度の境界を確立する。新しい「線形近似均衡」概念を導入し、やや厳しい条件下でも分散型Q学習が高確率でこの均衡に収束することを証明し、従来の漸近的結果を非漸近的領域へと拡張する。

ABSTRACT

Learning in stochastic games is arguably the most standard and fundamental setting in multi-agent reinforcement learning (MARL). In this paper, we consider decentralized MARL in stochastic games in the non-asymptotic regime. In particular, we establish the finite-sample complexity of fully decentralized Q-learning algorithms in a significant class of general-sum stochastic games (SGs) - weakly acyclic SGs, which includes the common cooperative MARL setting with an identical reward to all agents (a Markov team problem) as a special case. We focus on the practical while challenging setting of fully decentralized MARL, where neither the rewards nor the actions of other agents can be observed by each agent. In fact, each agent is completely oblivious to the presence of other decision makers. Both the tabular and the linear function approximation cases have been considered. In the tabular setting, we analyze the sample complexity for the decentralized Q-learning algorithm to converge to a Markov perfect equilibrium (Nash equilibrium). With linear function approximation, the results are for convergence to a linear approximated equilibrium - a new notion of equilibrium that we propose - which describes that each agent's policy is a best reply (to other agents) within a linear space. Numerical experiments are also provided for both settings to demonstrate the results.

研究の動機と目的

• 分散型マルチエージェント強化学習における漸近的収束と有限標本性能のギャップを埋めること。
• 一般和確率的ゲーム、特に弱的巡回性を持つものにおける分散型Q学習の標本複雑度を分析すること。
• 真のQ関数が保証されない線形関数近似設定への収束保証を拡張すること。
• 関数近似下でのマーキョフ完璧均衡の実用的代替としての「線形近似均衡」概念を導入・形式化すること。
• 理論的結果を実用的にするために、混合時間および定常分布最小確率に関する明示的でゲームパラメータ依存の境界を導出すること。

提案手法

• 各エージェントが自らの観測と局所的更新のみを用いる完全に分散型のQ学習アルゴリズム（アルゴリズム1）を提案し、他のエージェントの行動や報酬を観測しない。
• 各エージェントのポリシーが特徴量の線形関数空間内での最適応答であるという新しい均衡概念「線形近似均衡」を導入する。
• Q値推定がブートストラップされたリターンに基づいて更新される、時間変動する学習率を用いた二段階時間スケール更新ルールを採用し、収束を保証する。
• 非均衡ポリシーに到達する確率の最小値および関連ポリシーによって誘導されるマルコフ連鎖の混合時間の境界を取る、革新的な解析フレームワークを採用する。
• 最小ベルマン誤差を主要指標として用い、ポリシー更新の確率および均衡への収束確率に対する閉形式の下界を導出する。
• 線形関数近似（アルゴリズム2）の設定へと分析を拡張し、適切な学習率スケジュールのもとで、高確率で線形近似均衡への収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 弱的巡回性を持つ確率的ゲームにおける分散型Q学習の有限標本複雑度は何か？ そしてそれはゲームパラメータにどのように依存するか？
• RQ2 真のQ関数が表現可能でない線形関数近似の下で、収束をどのように保証できるか？
• RQ3 関数近似下での線形近似均衡と古典的マーキョフ完璧均衡の関係は何か？
• RQ4 混合時間および最小定常分布確率は、分散型マルチエージェント強化学習における収束速度にどのように影響するか？
• RQ5 混合時間および定常分布の最小確率といった主要な量について、明示的でゲームパラメータ依存の境界を導出できるか？

主な発見

• 本稿は、表形式の弱的巡回性を持つ確率的ゲームにおける分散型Q学習がマーキョフ完璧均衡に有限標本で収束することを確立し、必要なステップ数に対する明示的境界を提示する。
• 線形関数近似の状況では、各エージェントのポリシーが線形関数空間内での最適応答である「線形近似均衡」という新しい均衡概念に、やや厳しい条件下でも収束することが示された。
• 収束速度は、共同ポリシーによって誘導されるマルコフ連鎖の混合時間および最小定常分布確率に依存し、これらは命題2によりゲームパラメータの関数として境界づけられている。
• 従来の漸近的解析では得られなかった、ポリシー更新の確率および均衡への収束確率に対する閉形式の下界が、本分析によって得られた。
• 数値実験により、エピソード数Kおよび1エピソードあたりのステップ数Tが増加するにつれて、ポリシーが均衡近くにいる時間の割合が増加することが確認された。
• 有限な特徴集合でさえも、特徴空間が十分に豊かであれば、線形近似均衡は真のマーキョフ完璧均衡に非常に近くなることが示された。