[论文解读] Asynchronous Schemes for Stochastic and Misspecified Potential Games and Nonconvex Optimization

Jinlong Lei, Uday V. Shanbhag|arXiv (Cornell University)|Nov 6, 2017

Distributed Control Multi-Agent Systems参考文献 67被引用 3

一句话总结

该论文提出了一种用于具有参数误设的随机势博弈的异步不精确近端最优响应算法，结合随机逼近与投影梯度方法，实现了去中心化、低通信量的均衡计算。即使在信息延迟和非凸势函数条件下，仍能保证几乎必然收敛至纳什均衡的一个连通子集，并实现间隙函数的均值收敛至零。

ABSTRACT

The distributed computation of equilibria and optima has seen growing interest in a broad collection of networked problems. We consider the computation of equilibria of convex stochastic Nash games characterized by a possibly nonconvex potential function. Our focus is on two classes of stochastic Nash games: (P1): A potential stochastic Nash game, in which each player solves a parameterized stochastic convex program; and (P2): A misspecified generalization, where the player-specific stochastic program is complicated by a parametric misspecification. In both settings, exact proximal BR solutions are generally unavailable in finite time since they necessitate solving parameterized stochastic programs. Consequently, we design two asynchronous inexact proximal BR schemes to solve the problems, where in each iteration a single player is randomly chosen to compute an inexact proximal BR solution with rivals' possibly outdated information. Yet, in the misspecified regime (P2), each player possesses an extra estimate of the misspecified parameter and updates its estimate by a projected stochastic gradient (SG) algorithm. By Since any stationary point of the potential function is a Nash equilibrium of the associated game, we believe this paper is amongst the first ones for stochastic nonconvex (but block convex) optimization problems equipped with almost-sure convergence guarantees. These statements can be extended to allow for accommodating weighted potential games and generalized potential games. Finally, we present preliminary numerics based on applying the proposed schemes to congestion control and Nash-Cournot games.

研究动机与目标

• 开发用于在具有参数不确定性的随机势博弈中计算纳什均衡的去中心化、低通信量算法。
• 解决由于有限时间内随机规划难以求解而导致的不精确近端最优响应解的挑战。
• 在异步方案中集成通过投影随机梯度方法对未知参数的联合学习。
• 在一般延迟与不精确性条件下，建立迭代序列几乎必然收敛至纳什均衡连通子集的结论。
• 将收敛性保证扩展至强凸玩家问题，并在拥堵控制与纳什-古诺博弈中展示其适用性。

提出的方法

• 采用异步不精确近端最优响应方案，每次迭代仅由一个玩家更新，使用延迟的对手信息，并通过随机逼近获得不精确解。
• 采用具有递增批量大小的投影随机梯度算法，以估计误设博弈中的未知参数。
• 对势函数应用块坐标下降法，利用纳什均衡与势函数驻点之间的等价性。
• 对不精确性序列施加条件，以确保几乎必然收敛至纳什均衡的连通子集。
• 引入一个间隙函数，其在均值下收敛至零，表明均衡质量。
• 通过适当修改方案，将结果扩展至加权和广义势博弈。

实验结果

研究问题

• RQ1 在具有参数误设的随机势博弈中，异步不精确近端最优响应方案是否能在一般不精确性与通信延迟条件下，几乎必然收敛至纳什均衡的连通子集？
• RQ2 当玩家特定问题为强凸与凸时，收敛行为有何不同？
• RQ3 在异步方案与标准随机梯度方法之间，迭代复杂度与通信开销的权衡如何？
• RQ4 能否在不损害收敛性的前提下，将投影随机梯度方法用于未知参数的联合学习，并集成至异步最优响应方案中？
• RQ5 所提出的方案在多大程度上可推广至加权与广义势博弈？

主要发现

• 在不精确性与通信延迟的一般条件下，所提出的异步不精确近端最优响应方案几乎必然收敛至纳什均衡集合的一个连通子集。
• 间隙函数在均值下收敛至零，表明迭代序列在博弈论最优性意义上趋近于纳什均衡。
• 在强凸情况下，即使不使用近端正则化，不精确纯最优响应方案也被证明几乎必然收敛。
• 该方案的通信开销约为标准异步随机梯度方法的1/500，同时仅需约10倍的梯度步数。
• 在拥堵控制与纳什-古诺博弈上的数值结果验证了几乎必然收敛性，并展示了优异的通信效率。