[論文レビュー] Pure and Stationary Optimal Strategies in Perfect-Information Stochastic Games with Global Preferences

Hugo Gimbert, Wiesław Zielonka|arXiv (Cornell University)|Nov 25, 2016

Game Theory and Applications参考文献 3被引用数 4

ひとこと要約

本稿では、全域的偏好を伴う2人零和完全情報確率的ゲームにおける最適な決定的定常戦略の存在を、1人用マルコフ決定過程（MDP）への還元によって確立する。主な貢献は、すべての導出された1人用ゲームにおいて最適な決定的定常戦略が存在するならば、それらが対応する2人用ゲームにおいても存在することを示す一般還元法の確立であり、報酬構造やプレイの順序付けに関係なく成立する。

ABSTRACT

We examine the problem of the existence of optimal deterministic stationary strategiesintwo-players antagonistic (zero-sum) perfect information stochastic games with finitely many states and actions.We show that the existenceof such strategies follows from the existence of optimal deterministic stationarystrategies for some derived one-player games.Thus we reducethe problem from two-player to one-player games (Markov decisionproblems), where usually it is much easier to tackle.The reduction is very general, it holds not only for all possible payoff mappings but alsoin more a general situations whereplayers' preferences are not expressed by payoffs.

研究の動機と目的

• 2人完全情報確率的ゲームにおける最適な決定的定常戦略が存在する条件を確立すること。
• 標準的報酬関数では表現できない全域的偏好の課題に対処すること。
• 2人用ゲームの複雑さを、最適戦略の分析が容易な1人用マルコフ決定過程（MDP）に還元すること。
• 平均報酬、割引報酬、パリティゲームなどの既存の最適戦略に関する結果を一般化すること。
• 標準的報酬関数と抽象的なプレイ順序の両方に適用可能な統一的枠組みを提供すること。

提案手法

• 著者らは、元のゲーム構造から導出される1人用ゲーム（MDP）への2人用確率的ゲームからの還元を定義する。
• 簡略化されたゲームからの戦略を元のゲームへと持ち上げるためのリフト構成を導入する。この構成では、複数の行動を有する分離状態を用いる。
• ゲームクラスの特定の変換における閉包性に依存し、1人用ゲームにおける最適戦略が2人用ゲームにおける最適戦略を示すことを保証する。
• 重要な技術的道具は、1人のプレイヤーが制御する分離状態 ω を用いることであり、この状態の行動を用いて、導出ゲームからの戦略を元のゲームへと持ち上げる。
• 証明は帰納法を用い、戦略の持ち上げを通じて最適戦略を構築し、決定性および定常性が保たれることを保証する。
• このアプローチは、数値的報酬に限らず、あらゆる報酬関数およびプレイ順序の上での好みに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 全域的偏好を伴う2人完全情報確率的ゲームにおいて、最適な決定的定常戦略が存在する条件は何か？
• RQ2 2人用ゲームにおけるこのような戦略の存在が、1人用ゲームにおけるそれらの存在に還元可能か？
• RQ3 還元法は、数値的報酬にとどまらず、プレイの確率測度に関する順序付けのような抽象的構造に対しても成立するか？
• RQ4 決定的アーケンダや非巡回ゲームなどの一般クラスのゲームでは、この還元がより強い存在結果をもたらすか？
• RQ5 この枠組みは、パリティゲームや平均報酬ゲームを組み合わせた複数の目的を有するより複雑なゲームへと拡張可能か？

主な発見

• 最適な決定的定常戦略が2人完全情報確率的ゲームに存在するための必要十分条件は、すべての導出された1人用ゲームにおいてそれらが存在することである。
• 2人用ゲームから1人用ゲームへの還元は、最適戦略の決定性および定常性を保つ。
• この結果は、あらゆる報酬関数およびプレイ順序の好みに対して成立し、数値的報酬に限らない。
• この方法は、決定的アーケンダや自己ループ以外にサイクルを含まないゲームに対しても適用可能である。
• 証明は明示的な戦略の持ち上げを通じて構築され、メモリ要件が有限かつ管理可能であることを示している。
• この枠組みは、平均報酬、割引報酬、パリティゲームに関する既知の結果を一般化し、それらの存在証明を統一的に扱える。