[論文レビュー] A Study of Gradient Descent Schemes for General-Sum Stochastic Games

H. L. Prasad, Shalabh Bhatnagar|arXiv (Cornell University)|Jul 1, 2015

Markov Chains and Monte Carlo Methods参考文献 15被引用数 4

ひとこと要約

本稿では、一般和の確率的ゲームを非凸で制約付きの最適化問題として定式化することにより、一般和の確率的ゲームを解くための勾配降下法を提案する。非線形な目的関数と制約を有するが、標準的な勾配法はKKT点に収束するが、その中でもフルランク条件（KKT-N点）を満たすKKT点のみがナッシュ均衡に対応することを示しており、追加の構造的仮定がなければ、ナッシュ均衡への収束は保証されないことを示している。

ABSTRACT

Zero-sum stochastic games are easy to solve as they can be cast as simple Markov decision processes. This is however not the case with general-sum stochastic games. A fairly general optimization problem formulation is available for general-sum stochastic games by Filar and Vrieze [2004]. However, the optimization problem there has a non-linear objective and non-linear constraints with special structure. Since gradients of both the objective as well as constraints of this optimization problem are well defined, gradient based schemes seem to be a natural choice. We discuss a gradient scheme tuned for two-player stochastic games. We show in simulations that this scheme indeed converges to a Nash equilibrium, for a simple terrain exploration problem modelled as a general-sum stochastic game. However, it turns out that only global minima of the optimization problem correspond to Nash equilibria of the underlying general-sum stochastic game, while gradient schemes only guarantee convergence to local minima. We then provide important necessary conditions for gradient schemes to converge to Nash equilibria in general-sum stochastic games.

研究の動機と目的

• 零和ゲームに比べて扱いやすい構造を持たない一般和の確率的ゲームを解くという課題に対処すること。
• 一般和の確率的ゲームを、明確な勾配が定義される非凸で制約付きの最適化問題として定式化すること。
• 非凸性と不定な目的関数にもかかわらず、実行可能方向と最適ステップサイズを保証する勾配降下法を構築すること。
• 勾配ベースの手法がナッシュ均衡に収束するための必要条件を同定すること。
• このようなゲームにおいて、標準的な勾配スキームがナッシュ均衡への収束を保証できない理由を分析すること。

提案手法

• FilarとVrieze（2004）に従い、一般和の確率的ゲームを非凸で制約付きの最適化問題として定式化し、非線形な目的関数と線形制約を有する。
• 各反復で有効制約と非有効制約を尊重することで、実行可能方向を計算する勾配降下スキームを構築する。
• バックトラックを用いたラインサーチ手順により、メリット関数の十分な減少を確保する最適ステップサイズを決定する。
• 状態-行動空間におけるスパarsityを活用し、行列逆行列計算の数値的効率を向上させる。
• KKT条件を用いて潜在的解を特徴づけ、特にKKT-N点の特定に注目する。
• KKT-N条件を導入：KKT点がナッシュ均衡に対応するのは、その点で行列 $ G' = G_K^T(I - G_I(G_I^T G_I)^{-1}G_I^T)G_K $ がフルランクである場合に限る。

実験結果

リサーチクエスチョン

• RQ1 標準的な勾配降下法は、一般和の確率的ゲームにおいて信頼性高くナッシュ均衡に収束するのか？
• RQ2 最適化問題のKKT点がナッシュ均衡に対応するためにはどのような条件が必要か？
• RQ3 KKT点に収束するにもかかわらず、勾配ベースの手法がなぜナッシュ均衡への収束を保証できないのか？
• RQ4 非凸性や非線形制約といった最適化問題の構造が、収束行動にどのように影響するのか？
• RQ5 一般和の確率的ゲームにおいて、勾配ベースのアルゴリズムがナッシュ均衡に収束することを保証できる条件は何か？

主な発見

• 提案された勾配降下スキームは、地形探索問題におけるシミュレーションでKKT点に成功して収束し、実用的可行性を示している。
• 最適化問題のグローバルミニマのうちのみがナッシュ均衡に対応するが、勾配スキームはローカルミニマへの収束しか保証しない。
• KKT点がナッシュ均衡に対応するのは、行列 $ G' $ がフルランクである場合に限り、この条件をKKT-N条件と呼ぶ。
• 最適化問題のすべてのKKT点がKKT-N点である場合、任意の勾配ベースのアルゴリズムはナッシュ均衡に収束する。
• KKT-N点でない点が存在する場合、ナッシュ均衡への収束は保証されないため、標準的な勾配スキームに根本的な制限があることが浮き彫りになる。
• KKT-N条件は報酬関数、遷移確率、価値関数、戦略、有効制約集合に非線形に依存するため、事前に確認することが難しい。