[論文レビュー] Value Function Approximation in Zero-Sum Markov Games

Michail G. Lagoudakis, Ronald Parr|arXiv (Cornell University)|Dec 12, 2012

Reinforcement Learning in Robotics参考文献 12被引用数 54

ひとこと要約

この論文は、価値関数近似と強化学習を2人零和マルコフゲームに拡張し、MDPの誤差バインディングとLSPIやTD学習のアルゴリズムを一般化する。2人零和マルコフゲームにおける線形関数近似を用いたLSTDおよび時系列差分学習の収束保証を確立し、サッカー領域とフロー制御問題における有効な方策学習を通じて実用的応用を示している。

ABSTRACT

This paper investigates value function approximation in the context of zero-sum Markov games, which can be viewed as a generalization of the Markov decision process (MDP) framework to the two-agent case. We generalize error bounds from MDPs to Markov games and describe generalizations of reinforcement learning algorithms to Markov games. We present a generalization of the optimal stopping problem to a two-player simultaneous move Markov game. For this special problem, we provide stronger bounds and can guarantee convergence for LSTD and temporal difference learning with linear value function approximation. We demonstrate the viability of value function approximation for Markov games by using the Least squares policy iteration (LSPI) algorithm to learn good policies for a soccer domain and a flow control problem.

研究の動機と目的

• 単一エージェントのマルコフ決定過程（MDP）からの価値関数近似技術を2エージェント零和マルコフゲームに一般化すること。
• 時系列差分学習およびLSTDの誤差バインディングと収束性を2人ゼロ和設定に拡張すること。
• 実世界の領域におけるマルコフゲームに適した強化学習アルゴリズム（例：LSPI）を構築し、検証すること。
• より強い理論的保証を提供する2人同時手番最適停止問題を分析すること。
• 線形価値関数近似が競合的でマルチエージェント環境において実行可能で効果的であることを示すこと。

提案手法

• MDPベースの価値関数近似誤差バインディングを2エージェント零和マルコフゲーム枠組みに一般化する。
• 線形関数近似を用いて、マルコフゲーム設定に時系列差分学習およびLSTD（最小二乗時系列差分）を適応する。
• より強い収束性および誤差バインディングを導出するための特殊ケースとして、2人最適停止問題を導入する。
• 線形価値関数近似を用いたマルコフゲームにおける方策学習に、最小二乗方策反復（LSPI）アルゴリズムを適用する。
• 高次元状態空間における価値関数を表現するために、線形特徴量を用いた関数近似を採用する。
• 実世界の領域にアルゴリズムを適用：シミュレートされたサッカー環境とネットワークフローモデル制御問題。

実験結果

リサーチクエスチョン

• RQ1 MDPからの誤差バインディングは、2人零和マルコフゲームに一般化可能か？
• RQ2 TD学習やLSTDといった標準的強化学習アルゴリズムは、マルコフゲームにおける線形価値関数近似のもとで収束するか？
• RQ3 LSPIは、価値関数近似を用いて、競合的でマルチエージェント環境で効果的な方策を学習できるか？
• RQ4 2人最適停止問題における価値関数近似にどのような理論的保証を提供できるか？
• RQ5 線形価値関数近似は、実際の複雑な競合的マルコフゲームを解く際にどれほど有効か？

主な発見

• 本論文は、2人最適停止問題における線形関数近似を用いたLSTDおよび時系列差分学習の収束保証を確立した。
• 一般マルコフゲームよりも強い理論的バインディングが、2人最適停止問題に対して導出された。
• 線形価値関数近似を用いたLSPIは、シミュレートされたサッカー領域で効果的な方策を学習した。
• アルゴリズムはネットワークフローモデル制御問題においても実用的であることが示され、実用的応用性が裏付けられた。
• MDPからの一般化誤差バインディングが、2エージェント零和設定に拡張され、理論的基盤が提供された。
• 結果は、価値関数近似が競合的でマルチエージェントマルコフゲームにおいて実行可能で効果的であることを確認した。