[論文レビュー] Submixing and Shift-invariant Stochastic Games

Hugo Gimbert, Edon Kelmendi|arXiv (Cornell University)|Jan 25, 2014

Economic theories and models参考文献 23被引用数 9

ひとこと要約

本稿では、シフト不変かつサブミクシングな報酬関数を備えた2人ゼロ和確率ゲームが、半位置的戦略——すなわち記憶不要かつ確率的でない最適戦略——を有することを確立している。主な貢献は、$\epsilon$-部分ゲーム完全戦略と有限記憶移転定理を用いて、割引報酬、平均報酬、limsup、パリティゲームといった古典的結果を統一する一般的な十分条件を提示したことである。

ABSTRACT

We consider zero-sum stochastic games with perfect information and finitely many states and actions. The payoff is computed by a function which associates to each infinite sequence of states and actions a real number. We prove that if the payoff function is both shift-invariant and submixing, then the game is half-positional, i.e. the first player has an optimal strategy which is both deterministic and stationary. This result relies on the existence of epsilon-subgame-perfect strategies in shift-invariant games, a second contribution of the paper. The techniques can be used to establish a third result: for shift-invariant and submixing payoff functions, the existence of finite-memory strategies for player 2 in one-player games implies the same property for two-player games as well.

研究の動機と目的

• 2人ゼロ和確率ゲームが決定的かつ定常的最適戦略を有する一般的な条件を同定すること。
• 割引報酬、平均報酬、パリティゲームなどの古典的ゲームに関する既存の結果を、単一の理論的枠組みで統一すること。
• シフト不変ゲームにおいて$\epsilon$-部分ゲーム完全戦略の存在を、基礎的な技術的道具として確立すること。
• 有限記憶移転定理の証明：1人ゲームにおいて最適な有限記憶戦略が存在する場合、同じ報酬条件のもとで2人ゲームにおいても同様に存在することを示すこと。
• 多数の古典的報酬関数がシフト不変かつサブミクシングであることを示し、本フレームワークの広範な適用可能性を検証すること。

提案手法

• プレイ軌道における有限プレフィックスのシフトに対して報酬が不変であるようなシフト不変報酬関数の概念を導入する。
• 2つのプレイを組み合わせることで得られる報酬が、個々の報酬の和を超えないようなサブミクシング報酬関数を定義する。
• $\epsilon$-部分ゲーム完全戦略の概念を発展させ、リセット戦略の構成により、シフト不変ゲームにおけるその存在を示す。
• 部分ゲームからのプレイを統合するマージ戦略を構築し、主ゲームにおけるグローバル報酬行動を分析する。
• 有限記憶移転定理を証明：最小化者が1人ゲームにおいて最適な有限記憶戦略を有する場合、シフト不変かつサブミクシング条件下では2人ゲームにおいても同様に成立することを示す。
• 有限記憶戦略をトランスダーサー表現で形式化し、$\epsilon$-リセット操作に関して閉じていることを証明する。

実験結果

リサーチクエスチョン

• RQ1 報酬関数に対してどのような一般的な条件下で、2人ゼロ和確率ゲームが決定的かつ定常的最適戦略を有するか？
• RQ2 シフト不変報酬関数に対して$\epsilon$-部分ゲーム完全戦略の存在を保証できるか？
• RQ3 シフト不変かつサブミクシングであるという性質が、1人ゲームにおける最適有限記憶戦略が2人ゲームに拡張されることを保証するか？
• RQ4 どの古典的報酬関数がシフト不変かつサブミクシングを満たし、したがって提案された統一的フレームワークに含まれるか？
• RQ5 報酬関数がシフト不変かつサブミクシングである場合、2人ゲームにおける最小化者が必要とする記憶サイズの上界は何か？

主な発見

• 本稿では、報酬関数がシフト不変かつサブミクシングである場合、ゲームは半位置的であることを証明している——最大化者が決定的かつ定常的最適戦略を有する。
• $\epsilon$-部分ゲーム完全戦略の存在は、シフト不変ゲームにおける中心的技術的結果であり、最適戦略の構築を可能にする。
• 有限記憶移転定理が証明された：最小化者が1人ゲームにおいてシフト不変かつサブミクシング報酬条件下で最適な有限記憶戦略を有する場合、2人ゲームにおいても同様に成立する。
• 2人ゲームにおける最小化者が必要とする記憶サイズは、$(2\mathfrak{M})^{2^{\sum_s |\mathbf{A}(s)|}}$ で上界が与えられる。ここで$\mathfrak{M}$は1人ゲームの部分ゲームにおける最大記憶サイズである。
• 割引報酬、平均報酬、limsup、パリティなど、多数の古典的報酬関数がシフト不変かつサブミクシングであることが示され、本フレームワークの広範な適用可能性が裏付けられた。
• $\mathfrak{M} = 1$ の場合、記憶サイズの上界は1に減少し、これは位置性が成立することを示唆しており、既知の結果と整合的である。