[论文解读] Dynamic Potential Games in Communications: Fundamentals and Applications

Santiago Zazo, Sergio Valcárcel Macua+2 more|arXiv (Cornell University)|Sep 4, 2015

Network Traffic and Congestion Control参考文献 20被引用 6

一句话总结

本文提出受限动态势博弈（DPGs）作为统一框架，用于解决通信系统中非合作、时变的多智能体问题。通过将解表述为单个多元最优控制问题（MOCP），该框架能够在复杂场景（如智能电网、电池受限中继和动态调度）中高效计算均衡，即使在非平稳和受限环境下亦成立。

ABSTRACT

In a noncooperative dynamic game, multiple agents operating in a changing environment aim to optimize their utilities over an infinite time horizon. Time-varying environments allow to model more realistic scenarios (e.g., mobile devices equipped with batteries, wireless communications over a fading channel, etc.). However, solving a dynamic game is a difficult task that requires dealing with multiple coupled optimal control problems. We focus our analysis on a class of problems, named extit{dynamic potential games}, whose solution can be found through a single multivariate optimal control problem. Our analysis generalizes previous studies by considering that the set of environment's states and the set of players' actions are constrained, as it is required by most of the applications. And the theoretical results are the natural extension of the analysis for static potential games. We apply the analysis and provide numerical methods to solve four key example problems, with different features each: energy demand control in a smart-grid network, network flow optimization in which the relays have bounded link capacity and limited battery life, uplink multiple access communication with users that have to optimize the use of their batteries, and two optimal scheduling games with nonstationary channels.

研究动机与目标

• 将动态势博弈理论扩展至显式包含状态集和动作集约束，这些约束在实际通信应用中至关重要。
• 提供一个通用框架，统一分析具有时变动态特性的网络中各类动态资源分配问题。
• 证明受限DPG可通过求解单个多元最优控制问题（MOCP）实现，从而简化对耦合最优控制问题的求解。
• 在四个关键通信问题上验证该框架：智能电网需求控制、电池受限的网络流量、具有能量约束的上行链路多址接入，以及非平稳调度。
• 探讨向不完全信息和随机环境的扩展，为未来在部分可观察马尔可夫决策过程（POMDPs）和强化学习中的研究提供路径。

提出的方法

• 利用离散时间确定性动力系统，形式化具有时变、非平稳动态特性以及状态和动作集约束的动态势博弈。
• 引入一个势函数，确保可通过求解单个多元最优控制问题（MOCP）保证解的存在性，避免求解多个耦合最优控制问题的需要。
• 应用庞特里亚金最大值原理，推导MOCP在非约化形式下的必要最优性条件，从而在动作无法与状态转移分离时仍可进行分析。
• 使用值迭代和策略迭代算法数值求解MOCP，在约束解耦且共享状态分量时可保证收敛。
• 设计集中式算法（如算法1）以计算值函数和策略函数，并讨论在约束解耦时的分布式实现方式。
• 将该框架应用于四个案例研究：智能电网能源控制、具有容量和电池限制的中继网络流量、具有电池约束的上行链路多址接入，以及具有比例公平和等速率目标的非平稳调度。

实验结果

研究问题

• RQ1 如何将动态势博弈推广以包含状态集和动作集的约束，这些约束在实际通信系统中普遍存在？
• RQ2 在非平稳动态特性和约束条件下，何种情形下动态博弈可被认定为动态势博弈？
• RQ3 受限动态势博弈的解是否可简化为求解单个多元最优控制问题（MOCP）？与求解耦合最优控制问题相比，该方法如何简化分析？
• RQ4 所提出的框架在真实通信场景（如电池受限中继、智能电网需求控制、具有衰落信道的动态调度）中的表现如何？
• RQ5 对分布式实现以及向不完全信息或随机环境的扩展有何影响？

主要发现

• 所提出的框架成功将受限动态势博弈表述为单个多元最优控制问题（MOCP），并可通过标准最优控制技术高效求解。
• 数值结果表明，在双用户比例公平调度问题中，尽管信道增益不同，双方用户仍能实现接近最大平均速率，因功率分配自适应于公平性约束。
• 在等速率调度问题中，用户1即使拥有更优信道，仍会降低其传输功率和平均速率以匹配用户2的性能，表明公平性约束被有效实施。
• 该框架支持凸与非凸目标函数，解可通过凸优化和动态规划获得，并在约束解耦的问题中证明了收敛性。
• 当智能体具有独立状态分量且约束解耦时，值迭代和策略迭代的分布式实现是可行的，支持去中心化运行。
• 该方法可通过POMDPs扩展至随机环境和部分可观察场景，并可通过适当修改适配强化学习与近似动态规划。