[論文レビュー] Efficient Strategy Computation in Zero-Sum Asymmetric Repeated Games

Lichun Li, Jeff S. Shamma|arXiv (Cornell University)|Mar 6, 2017

Infrastructure Resilience and Vulnerability Analysis参考文献 16被引用数 5

ひとこと要約

本稿では、一方のプレイヤーが優位な情報を有するゼロ和非対称繰り返しゲームにおけるセキュリティ戦略を計算するための効率的な線形計画法（LP）定式化を提案する。戦略が情報を持つプレイヤーの行動履歴にのみ依存することを活用することで、計算複雑性を無知なプレイヤーの行動集合のサイズに線形に抑える手法を構築し、有限時間ホライズンおよび割引無限時間ホライズンゲームにおいてスケーラブルな解法を実現。近似解の性能バウンドも提示する。

ABSTRACT

Zero-sum asymmetric games model decision making scenarios involving two competing players who have different information about the game being played. A particular case is that of nested information, where one (informed) player has superior information over the other (uninformed) player. This paper considers the case of nested information in repeated zero-sum games and studies the computation of strategies for both the informed and uninformed players for finite-horizon and discounted infinite-horizon nested information games. For finite-horizon settings, we exploit that for both players, the security strategy, and also the opponent's corresponding best response depend only on the informed player's history of actions. Using this property, we refine the sequence form, and formulate an LP computation of player strategies that is linear in the size of the uninformed player's action set. For the infinite-horizon discounted game, we construct LP formulations to compute the approximated security strategies for both players, and provide a bound on the performance difference between the approximated security strategies and the security strategies. Finally, we illustrate the results on a network interdiction game between an informed system administrator and uniformed intruder.

研究の動機と目的

• 非対称情報を持つゼロ和繰り返しゲームにおけるセキュリティ戦略を計算的に効率的に計算する手法の開発。
• 完全記憶（perfect recall）の制約を緩和し、戦略が無知なプレイヤーの行動履歴ではなく、情報を持つプレイヤーの行動履歴にのみ依存することを示すことにより、非対称ゲームにおける挑戦に応える。
• 無知なプレイヤーの行動集合サイズに線形に依存するLP定式化を設計し、従来の多項式時間法を改善すること。
• 割引無限時間ホライズンゲームへの結果の拡張と、近似されたセキュリティ戦略の性能バウンドの提示。
• ケーススタディとしてネットワーク遮断ゲームを用いた手法の検証。

提案手法

• 無知なプレイヤーの行動履歴に依存しないように逐次形式（sequence form）を精緻化し、戦略計算を情報を持つプレイヤーの履歴にのみ依存させる。
• 有限時間ホライズン用のLP定式化を構築し、戦略計算のスケーリングが無知なプレイヤーの行動集合サイズに線形に依存するようにする。
• 無限時間ホライズンゲームでは、有界なレグルス（regret）と割引価値関数を用いてセキュリティ戦略のLP近似を導出する。
• 無限時間設定における攻撃者にとってのコンパクトな状態表現を維持するため、アンチ割引レグルスに基づく十分統計量を用いる。
• 収束バウンドを適用し、近似された戦略と真のセキュリティ戦略との間の性能差が定量的に制御されることを保証する。
• 3段階のネットワーク遮断ゲームと10段階の割引ゲーム（100回のシミュレーション）を用いて手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 有限時間ホライズン非対称繰り返しゲームにおけるセキュリティ戦略は、無知なプレイヤーの行動集合サイズに線形の複雑性で計算可能か？
• RQ2 最適性を損なわず、非対称繰り返しゲームにおける完全記憶をどのように緩和できるか？
• RQ3 割引無限時間ホライズン非対称ゲームにおいて、近似された戦略と真のセキュリティ戦略との性能ギャップはどの程度か？
• RQ4 無限時間設定において、無知なプレイヤーのためのコンパクトな十分統計量を導出可能か？
• RQ5 信念更新と報酬バウンドは、繰り返し非対称ゲームにおける戦略収束にどのように影響するか？

主な発見

• 有限時間ホライズン用のLP定式化は、無知なプレイヤーの行動集合サイズに線形にスケーリングされ、従来の多項式時間法に比べ顕著に改善された。
• 3段階のネットワーク遮断ゲームでは、平均報酬が6.58であり、計算されたゲーム価値6.57に非常に近い結果が得られ、有限時間ホライズン手法の妥当性が検証された。
• 0.7の割引率を有するゲームでは、初期信念が[0.5, 0.5]のとき、近似されたゲーム価値が2.24に収束し、信念状態に応じた適応的行動を示す戦略が得られた。
• 攻撃者の近似戦略は、アンチ割引レグルスベクトルに基づき、容量がより高いと予想されるチャネルのブロッキング確率を増加させることで報酬をバランスさせた。
• 10段階の割引ゲームでは、平均報酬が2.35であり、予想される区間[1.96, 2.59]内に収まり、理論的バウンドの妥当性が確認された。
• 近似された戦略と真のセキュリティ戦略との性能ギャップはバウンドされており、割引価値関数とレグルス指標を用いて理論的保証が得られた。