[論文レビュー] LP Formulations of Two-Player Zero-Sum Stochastic Bayesian Finite Horizon Games

Nabiha Nasir Orpa, Lichun Li|arXiv (Cornell University)|Aug 24, 2020

Bayesian Modeling and Causal Inference被引用数 1

ひとこと要約

本稿では、再帰的十分統計量と双対性を活用して、不完全情報を持つ2人零和確率的ベイジアンゲームを線形計画法（LP）として定式化する。特定の初期パラメータのもとで、双対ゲームにおける最適戦略が元のゲームにおける最適戦略と一致することを示し、LPを用いた効率的な計算が可能になる。この手法は水中センサネットワークのセキュリティ応用において検証された。

ABSTRACT

This paper studies two-player zero-sum stochastic Bayesian games where each player has its own dynamic state that is unknown to the other player. Using typical techniques, we provide the recursive formulas and the sufficient statistics in both the primal game and its dual games. It's also shown that with a specific initial parameter, the optimal strategy of one player in a dual game is also the optimal strategy of the player in the primal game. We, then, construct linear programs to compute the optimal strategies in both the primal game and the dual games and the special initial parameters in the dual games. The main results are demonstrated in a security problem of underwater sensor networks.

研究の動機と目的

• 各プレイヤーが相手に未知な動的状態を有する2人零和確率的ベイジアンゲームをモデル化すること。
• 不完全情報下での原始的および双対的ゲームにおける再帰的公式および十分統計量を導出すること。
• 双対ゲームにおける最適戦略が原始的ゲームにおける最適戦略と一致する条件を確立すること。
• 原始的および双対的定式化における最適戦略および重要な初期パラメータを計算する線形計画法（LP）を構築すること。
• 水中センサネットワークのセキュリティ応用を通じて、フレームワークの実用的妥当性を検証すること。

提案手法

• 確率的動的ゲームにおけるプレイヤーの私的状態のベイズ更新を用いて、再帰的信念更新方程式を導出する。
• 不確実性下での意思決定に必要な情報をすべて含む十分統計量を特定する。
• 変換された状態空間を用いて双対ゲームを定式化し、原始的および双対的戦略間の双対性関係を導出する。
• 双対ゲームにおける最適戦略が原始的ゲームにおける最適戦略と同一となるような初期パラメータの条件を確立する。
• 導出された十分統計量を用いて、原始的および双対的ゲームにおける最適戦略を計算する線形計画法（LP）を構築する。
• LPフレームワークを水中センサネットワークのセキュリティ問題に適用し、実用的妥当性および性能を示す。

実験結果

リサーチクエスチョン

• RQ1 私的動的状態を有する2人零和確率的ベイジアンゲームにおける最適戦略は、どのように計算可能か？
• RQ2 双対ゲームにおける最適戦略が原始的ゲームにおける最適戦略と一致するための条件は何か？
• RQ3 このようなゲームにおける再帰的信念更新および戦略計算を可能にする十分統計量は何か？
• RQ4 線形計画法を用いて、原始的および双対的定式化における最適戦略および初期パラメータをどのように計算できるか？
• RQ5 提案されたLPベースのアプローチは、実世界のセキュリティ応用において実際の性能をどのように発揮するか？

主な発見

• 特定の初期パラメータが双対ゲームに使用される場合、原始的ゲームにおける最適戦略は線形計画法を用いて計算可能である。
• ある特定の初期パラメータ条件のもとで、双対ゲームにおける最適戦略は原始的ゲームにおける最適戦略と同一である。
• ゲームにおける信念更新のための十分統計量が導出され、LP定式化に用いられている。
• 提案されたLPフレームワークにより、確率的ベイジアンゲーム設定下での両プレイヤーの最適戦略が効率的に計算可能である。
• 本手法は水中センサネットワークを対象とするセキュリティシナリオにおいて検証され、実用的妥当性が示された。
• 双対性フレームワークにより、元のゲームがLPベースの解法に適した等価な形に変換可能である。