[论文解读] LP Formulations of Two-Player Zero-Sum Stochastic Bayesian Finite Horizon Games

Nabiha Nasir Orpa, Lichun Li|arXiv (Cornell University)|Aug 24, 2020

Bayesian Modeling and Causal Inference被引用 1

一句话总结

本文将具有不完全信息的两玩家零和随机贝叶斯博弈建模为线性规划（LP），利用递归充分统计量和对偶性推导最优策略。结果表明，在特定初始参数下，对偶博弈中的最优策略与原博弈中的最优策略一致，从而可通过LP实现高效计算，并在水下传感器网络安全应用中得到验证。

ABSTRACT

This paper studies two-player zero-sum stochastic Bayesian games where each player has its own dynamic state that is unknown to the other player. Using typical techniques, we provide the recursive formulas and the sufficient statistics in both the primal game and its dual games. It's also shown that with a specific initial parameter, the optimal strategy of one player in a dual game is also the optimal strategy of the player in the primal game. We, then, construct linear programs to compute the optimal strategies in both the primal game and the dual games and the special initial parameters in the dual games. The main results are demonstrated in a security problem of underwater sensor networks.

研究动机与目标

• 建模两玩家零和随机贝叶斯博弈，其中每位玩家拥有对方未知的私有动态状态。
• 在不完全信息条件下，推导原博弈和对偶博弈的递归公式及充分统计量。
• 建立对偶博弈中的最优策略与原博弈中最优策略一致的条件。
• 构建线性规划（LP）以计算原博弈和对偶博弈中的最优策略及关键初始参数。
• 通过水下传感器网络安全中的实际应用验证该框架。

提出的方法

• 利用贝叶斯更新推导随机动态博弈中玩家私有状态的递归信念更新方程。
• 识别出在不确定性下决策所需的所有相关信息的充分统计量。
• 通过变换状态空间构造对偶博弈，并推导原博弈与对偶博弈策略之间的对偶关系。
• 建立初始参数的条件，使得对偶博弈中的最优策略与原博弈中的最优策略等价。
• 利用推导出的充分统计量，构建线性规划（LP）以计算原博弈和对偶博弈中的最优策略。
• 将LP框架应用于水下传感器网络的安全问题，以展示其实际可行性与性能。

实验结果

研究问题

• RQ1 如何在具有私有动态状态的两玩家零和随机贝叶斯博弈中计算最优策略？
• RQ2 在何种条件下，对偶博弈中的最优策略与原博弈中的最优策略一致？
• RQ3 哪些充分统计量能够实现此类博弈中信念的递归更新与策略计算？
• RQ4 线性规划如何用于计算原博弈和对偶博弈中的最优策略及初始参数？
• RQ5 所提出的基于LP的方法在真实世界安全应用中的实际性能如何？

主要发现

• 当在对偶博弈中使用特定初始参数时，原博弈中的最优策略可通过线性规划计算得出。
• 在特定初始参数条件下，对偶博弈中的最优策略与原博弈中的最优策略完全相同。
• 推导出用于博弈中信念更新的充分统计量，并用于构建LP公式。
• 所提出的LP框架能够高效计算随机贝叶斯博弈设定下双方玩家的最优策略。
• 该方法在涉及水下传感器网络的安全场景中得到验证，展示了其实际适用性。
• 对偶框架使得原博弈可被转化为等价形式，从而适用于基于LP的求解方法。