[論文レビュー] Constrained Cost-Coupled Stochastic Games with Independent State Processes

Eitan Altman, Konstantin Avrachenkov+4 more|ArXiv.org|Mar 21, 2007

Game Theory and Voting Systems参考文献 11被引用数 7

ひとこと要約

本稿は、各プレイヤーが独立したマルコフ決定過程を制御する非協力的確率的ゲームにおいて、コストおよび制約が全プレイヤーの行動に依存する条件下で、制約付きナッシュ均衡の存在を確立する。線形計画法と不動点理論を用いて、弱い条件下でも定常マルコフ戦略が制約付きナッシュ均衡を形成することを証明し、無線電力制御への応用を示す。

ABSTRACT

We consider a non-cooperative constrained stochastic games with N players with the following special structure. With each player there is an associated controlled Markov chain. The transition probabilities of the i-th Markov chain depend only on the state and actions of controller i. The information structure that we consider is such that each player knows the state of its own MDP and its own actions. It does not know the states of, and the actions taken by other players. Finally, each player wishes to minimize a time-average cost function, and has constraints over other time-avrage cost functions. Both the cost that is minimized as well as those defining the constraints depend on the state and actions of all players. We study in this paper the existence of a Nash equilirium. Examples in power control in wireless communications are given.

研究の動機と目的

• 非協力的確率的ゲームにおけるコスト結合と制約付きナッシュ均衡の存在を確立すること。
• プレイヤーが自身の状態と行動のみを部分的に把握しているが、制約下での時間平均コストを最適化する状況をモデル化すること。
• 独立した状態過程を有するマルチエージェント確率的ゲームへ、制約付きマルコフ決定過程（CMDP）理論を拡張すること。
• 線形計画法と不動点解析を用いて、計算に実行可能なフレームワークを提供すること。
• 特に、品質保証制約を伴うアップリンク電力制御を含む無線通信システムへの適用可能性を示すこと。

提案手法

• N人のプレイヤーからなる、各プレイヤーが自身の行動にのみ依存する遷移確率を持つ独立したMDPを制御する制約付きコスト結合確率的ゲームとしてゲームを形式化する。
• 各プレイヤーに対して、他のプレイヤーの戦略が与えられたもとで最適な定常戦略を計算する線形計画法（LP）を導入し、これをLP(i,u)と表記する。このLPはコスト最小化と制約の満たし方を統合する。
• 定常戦略下での長期的状態行動頻度を表すための占有測度f(v)を導入し、仮定Π₁のもとで初期状態分布に依存しない。
• 各プレイヤーの戦略プロファイルを、他のプレイヤーの占有測度のプロファイルから、最良応答戦略プロファイルへの写像として定義する点集合写像Ψを定義し、不動点解析を可能にする。
• Kakutaniの不動点定理をΨに適用し、不動点の存在を証明する。この不動点は、制約付きナッシュ均衡に対応する。
• Ψの任意の不動点は定常制約付きナッシュ均衡を導き、逆に、すべての定常制約付きナッシュ均衡はΨの不動点から導かれる。

実験結果

リサーチクエスチョン

• RQ1 独立した状態過程と部分情報を持つ確率的ゲームにおいて、制約付きナッシュ均衡が存在する条件は何か？
• RQ2 プレイヤーが他のプレイヤーについての情報が限られている場合、線形計画法を用いて均衡戦略を特徴づけられるか？
• RQ3 コスト結合と制約は、分散型確率的ゲームにおける均衡の存在と構造にどのように影響するか？
• RQ4 写像Ψの不動点と定常制約付きナッシュ均衡の存在との間に、何らかの関係があるか？
• RQ5 与えられた仮定のもとで、占有測度とLP定式化を用いて均衡を計算可能か？

主な発見

• 仮定Π₁–Π₃のもとで、提案されたクラスの確率的ゲームにおいて制約付きナッシュ均衡が存在することが、Kakutaniの不動点定理を用いて証明された。
• 均衡戦略は定常マルコフ戦略であり、履歴ではなく現在のローカル状態にのみ依存する。
• 各プレイヤーの最適戦略は、他のプレイヤーの戦略uを表す線形計画法LP(i,u)により計算可能である。
• LP(i,u)の最適解の集合は凸かつコンパクトであり、最良応答写像は上半連続である。
• 任意の定常制約付きナッシュ均衡は写像Ψの不動点に対応し、逆に、すべてのこのような均衡はΨの不動点から導かれる。
• 時間平均コストおよび制約関数は、初期状態分布βに依存しない占有測度f(v)により完全に特徴づけられる。