[論文レビュー] Information Relaxations and Dynamic Zero-Sum Games

Martin B. Haugh, Chun Wang|arXiv (Cornell University)|May 17, 2014

Advanced Bandit Algorithms Research参考文献 20被引用数 4

ひとこと要約

この論文は、最良応答問題が解けない場合でも、動的ゼロサムゲームの最適値に対する双対下界と上界を構築するために情報緩和技術を適用する。部分的最適方策から導かれる双対ペナルティを活用することで、政策の品質を証明するきわめて鋭い境界を達成し、2段階の行列ゲームと産業的廃棄物点検ゲームの両方で、数回の政策反復後に境界が急速に収束することが示された。

ABSTRACT

Dynamic zero-sum games are an important class of problems with applications ranging from evasion-pursuit and heads-up poker to certain adversarial versions of control problems such as multi-armed bandit and multiclass queuing problems. These games are generally very difficult to solve even when one player's strategy is fixed, and so constructing and evaluating good sub-optimal policies for each player is an important practical problem. In this paper, we propose the use of information relaxations to construct dual lower and upper bounds on the optimal value of the game. We note that the information relaxation approach, which has been developed and applied successfully to many large-scale dynamic programming problems, applies immediately to zero-sum game problems. We provide some simple numerical examples and identify interesting issues and complications that arise in the context of zero-sum games.

研究の動機と目的

• 正確な解法が計算的に不可能な大規模な動的ゼロサムゲームにおいて、部分的最適方策ペアの評価という課題に対処すること。
• 最良応答問題が直接解くのに複雑すぎる場合でも、情報緩和を用いて最適ゲーム値の双対境界を構築すること。
• 部分的最適方策近似から構築された双対ペナルティを用いて、きめ細やかな双対境界を達成し、性能の証明を可能にすること。
• 特に非完全情報および敵対的制御設定において、情報緩和をゼロサムゲームに適用する際に生じる独自の課題を特定・分析すること。

提案手法

• 有限状態空間および行動空間を用いて動的ゼロサムゲームを定式化し、プレイヤーAが期待割引コストを最大化し、プレイヤーBが最小化するように設定する。
• 近似動的計画法のために元々開発された情報緩和アプローチを適用し、最適ゲーム値の双対下界および上界を構築する。
• Rogers [9] および Brown と Haugh [19] の弱形式双対アプローチに従い、部分的最適方策ペアの価値関数から導かれる双対妥当ペナルティを用いる。
• 行動に依存しない遷移測度 Q を使用し、吸収状態を除き、全状態に均等に確率質量を再分配することで、双対内問題を扱いやすくする。
• モンテカルロシミュレーションを用いてシミュレートされた経路上で双対境界を計算し、ゲーム構造および方策の品質に合わせてペナルティを調整する。
• 政策反復を用いて部分的最適方策を段階的に改善し、双対境界が真のゲーム値に収束することを観察する。

実験結果

リサーチクエスチョン

• RQ1 最良応答問題が解けない場合でも、情報緩和技術を動的ゼロサムゲームの最適値を評価するために効果的に適用できるか？
• RQ2 部分的最適方策から構築された双対境界は真の最適ゲーム値をどの程度正確に反映するか？ また、収束はどの程度速いか？
• RQ3 非完全情報または敵対的制御ダイナミクスを伴うゼロサムゲームに情報緩和を適用する際に生じる課題は何か？
• RQ4 双対境界を用いて、大規模ゲームにおける部分的最適方策ペアの性能を証明できるか？

主な発見

• 産業的廃棄物点検ゲームでは、政策反復をわずか2ラウンド行うだけで、最適ゲーム値の双対境界が著しく鋭くなり、初期の広い区間から著しく狭まった。
• ナイーブな方策ペアの初期双対境界は極めて広く、下界が128.8、上界が365.5であったため、初期の近似品質が著しく低いことが示された。
• 強い双対性により、価値関数のより良い近似がより鋭い双対境界をもたらすことが示され、反復後の急速な収束によって実証された。
• 正確な解法に代えて双対緩和を用いることで、ゼロサムゲームにおける最良応答計算の複雑さに対処し、性能の証明を可能にした。
• 非完全情報設定においても柔軟性を保ち、異なる経路、ペナルティ、または遷移測度 Q を用いて、下界と上界を独立に構築できる。