[論文レビュー] Mean Field Stochastic Games with Binary Action Spaces and Monotone Costs

Minyi Huang, Yan Ma|arXiv (Cornell University)|Jan 23, 2017

Electric Vehicles and Infrastructure参考文献 20被引用数 11

ひとこと要約

本稿は、2値の行動と連続状態を有する平均場確率ゲームを研究しており、プレイヤーはリスクレベルのダイナミクスに直面し、しきい値ポリシーによって制御を行う。正の外部性のもとで定常解の一意性を、閉ループ状態過程のエルゴード性の分析により確立し、単調コストを有する大規模集団意思決定システムの取り扱いやすい枠組みを提供する。

ABSTRACT

This paper considers mean field games in a multi-agent Markov decision process (MDP) framework. Each player has a continuum state and binary action. By active control, a player can bring its state to a resetting point. All players are coupled through their cost functions. The structural property of the individual strategies is characterized in terms of threshold policies when the mean field game admits a solution. We further introduce a stationary equation system of the mean field game and analyze uniqueness of its solution under positive externalities.

研究の動機と目的

• プレイヤーがリスクレベルのダイナミクスに直面する2値の行動と連続状態を有する大規模集団確率ゲームをモデル化すること。
• 平均場均衡のもとで個々の戦略がしきい値ポリシーとして特徴付けられることを特定すること。
• 正の外部性のもとで、閉ループ状態過程のエルゴード性分析を用いて、定常解の一意性を確立すること。
• 線形二次のケースを超える非線形平均場ゲームの取り扱いやすい枠組みを提供すること。

提案手法

• システムを、2値の行動（何もしない、またはリセット）と状態空間[0,1]（リスクレベルを表す）を有するマルチエージェントマルコフ意思決定過程としてモデル化する。
• プレイヤーの最適反応を、状態が臨界しきい値を超えた際に制御が発動するしきい値ポリシーとして導出する。
• 平均場ゲームの定常方程式系を導入し、個々のプレイヤーの状態過程のエルゴード性を用いてその解の一意性を分析する。
• 再生過程理論とマルコフ連鎖解析を用いて、しきい値制御下での状態過程の長期平均的挙動を研究する。
• 異なるしきい値を有するマルコフ連鎖の比較を通じて、確率的優位性の議論を用いて長期平均状態の単調性を証明する。
• 異なる吸収しきい値を有する補助マルコフ連鎖を用いたカップリング論法を用いて、期待累積状態値を比較する。

実験結果

リサーチクエスチョン

• RQ1 2値の行動と連続状態を有する平均場ゲームが、しきい値ポリシーの形で解を有する条件は何か？
• RQ2 プレイヤーの長期平均状態は、しきい値ポリシーと平均場にどのように依存するか？
• RQ3 正の外部性のもとで、平均場ゲームにおける定常解の一意性を保証する条件は何か？
• RQ4 閉ループ状態過程のエルゴード性は、平均場均衡の一意性とどのように関係するか？
• RQ5 しきい値に関する長期平均状態の単調性を厳密に確立できるか？

主な発見

• 各プレイヤーの最適反応戦略は、状態が臨界値を超えた際に制御が発動するしきい値ポリシーである。
• しきい値ポリシーのもとで、プレイヤーの長期平均状態は、しきい値パラメータに関して非減少関数である。
• 閉ループ状態過程のエルゴード性の分析を用いて、正の外部性のもとで平均場方程式系の定常解の一意性が確立された。
• 補助マルコフ連鎖間の確率的優位性を用いて、期待長期平均状態がしきい値パラメータに関して厳密に増加することが示された。
• 平均場が正の外部性を誘発する条件のもとで、定常方程式系の解が一意であることが、累積状態期待値の比較により証明された。
• 解析により、状態過程のエルゴード性のおかげで、平均場均衡が初期状態分布に対してロバストであることが確認された。