[論文レビュー] Learning Parametric Closed-Loop Policies for Markov Potential Games

Sergio Valcárcel Macua, Javier Zazo+1 more|arXiv (Cornell University)|Feb 3, 2018

Reinforcement Learning in Robotics参考文献 9被引用数 7

ひとこと要約

本稿は、連続的な状態・行動・結合制約を伴うマーカフポテンシャルゲーム（MPG）におけるパラメトリック閉ループ方策の学習のための新規手法を提案する。問題を1つの最適制御問題（OCP）として定式化することにより、深層強化学習を用いて、凸でない報酬関数やニューラルネットワーク方策に対しても、閉ループナッシュ均衡（CL-NE）の効率的近似が可能となり、従来のオープンループまたは変分的手法の限界を克服する。

ABSTRACT

Multiagent systems where agents interact among themselves and with a stochastic environment can be formalized as stochastic games. We study a subclass named Markov potential games (MPGs) that appear often in economic and engineering applications when the agents share a common resource. We consider MPGs with continuous state-action variables, coupled constraints and nonconvex rewards. Previous analysis followed a variational approach that is only valid for very simple cases (convex rewards, invertible dynamics, and no coupled constraints); or considered deterministic dynamics and provided open-loop (OL) analysis, studying strategies that consist in predefined action sequences, which are not optimal for stochastic environments. We present a closed-loop (CL) analysis for MPGs and consider parametric policies that depend on the current state. We provide easily verifiable, sufficient and necessary conditions for a stochastic game to be an MPG, even for complex parametric functions (e.g., deep neural networks); and show that a closed-loop Nash equilibrium (NE) can be found (or at least approximated) by solving a related optimal control problem (OCP). This is useful since solving an OCP--which is a single-objective problem--is usually much simpler than solving the original set of coupled OCPs that form the game--which is a multiobjective control problem. This is a considerable improvement over the previously standard approach for the CL analysis of MPGs, which gives no approximate solution if no NE belongs to the chosen parametric family, and which is practical only for simple parametric forms. We illustrate the theoretical contributions with an example by applying our approach to a noncooperative communications engineering game. We then solve the game with a deep reinforcement learning algorithm that learns policies that closely approximates an exact variational NE of the game.

研究の動機と目的

• 連続的状態・行動・結合制約を伴うマーカフポテンシャルゲーム（MPG）において、閉ループナッシュ均衡（CL-NE）を計算または近似する実用的手法の不足に応えること。
• 凸報酬関数や単純なパラメトリック形式に限定された従来の変分的・オープンループ分析を、一般の非凸的かつ複雑なパラメトリック方策（例：深層ニューラルネットワーク）へと拡張すること。
• 非凸性および複雑な方策パラメトリゼーション下でも、確率的ゲームがMPGであるための十分かつ必要条件を提供すること。
• 1つの最適制御問題（OCP）を解くことで、元の結合的マルチ目的OCPと同等の解が得られることを示し、元の問題の大幅な単純化を実現すること。
• 実世界の通信工学ゲームへの応用を通じて、深層強化学習を用いたアプローチの有効性を実証し、近似的に最適な均衡に収束することを示すこと。

提案手法

• 各エージェントの方策を現在の状態の関数として定式化し、パラメータ $ w_k $ でパラメトリック化することで、MPGをパラメトリック閉ループゲームとして定式化する。
• パラメトリック閉ループナッシュ均衡（PCL-NE）の概念を導入し、これは、いかなるエージェントも単独で方策を変更しても利得が向上しないような方策ベクトル $ w^* $ として定義される。
• 一次最適性条件を用いて、非凸報酬関数や複雑なパラメトリック関数に対しても有効な、MPGであるための必要十分条件を導出する。
• ポテンシャルゲーム構造を活用して、元の結合的マルチ目的OCPを1つのOCPに再定式化し、標準的な最適制御ソルバを用いて効率的に解けるようにする。
• 深層強化学習を用いて、PCL-NEを近似する方策を学習し、ネットワークアーキテクチャにより高い表現力（例：深層ニューラルネットワーク）を実現する。
• 非協力的通信工学ゲームに本手法を適用し、実験的評価を通じて手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 連続変数および結合制約を伴う確率的ゲームが、非凸報酬関数や複雑な方策に対しても、マーカフポテンシャルゲーム（MPG）であるかどうかを検証可能で十分かつ必要となる条件を導出できるか？
• RQ2 特に、正確なナッシュ均衡（NE）が選択した方策族に含まれない場合でも、パラメトリック方策を用いて閉ループナッシュ均衡（CL-NE）を近似できるか？
• RQ3 MPGの結合的マルチ目的OCPを1つのOCPに再定式化することで、元の結合系を解くのと比較して、均衡の計算がより効率的かつスケーラブルに可能になるか？
• RQ4 深層強化学習は、複雑な実世界のMPG応用において、真の変分的NEに近い方策を効果的に学習できるか？
• RQ5 確率的・制約付き環境下で、本手法は従来のオープンループまたは変分的手法と比較して、性能およびロバスト性において優れているか？

主な発見

• 非凸報酬関数や複雑な方策（例：深層ニューラルネットワーク）に対しても、検証が容易で十分かつ必要となる条件を、確率的ゲームがMPGであるかどうかに適用可能に確立した。
• 1つの最適制御問題（OCP）を解くことで、閉ループナッシュ均衡（CL-NE）が得られたり、近似可能であることが示され、元の結合的マルチ目的OCPの集合を解くよりも計算が簡単である。
• 本手法により、連続的状態・行動・結合制約を伴うMPGにおけるCL-NEの実用的計算が可能となり、従来の標準的手法では到達不可能であった問題に対しても対処可能となった。
• 非協力的通信工学ゲームの応用において、深層強化学習アルゴリズムが、正確な変分的NEに非常に近い方策を効果的に学習した。これにより、手法の実証的有効性が示された。
• 本手法は単純なパラメトリック形式にとどまらず、十分な表現力を持つ方策族（例：深層ネットワーク）を用いることで、真のNEに任意に近い近似が可能である。
• 従来のCL解析の主な限界（正確なNEが方策クラスに含まれない場合に近似解が得られない）を克服でき、非可逆的で複雑なダイナミクスに対しても実用的である。