[论文解读] Distributed Forward-Backward algorithms for stochastic generalized Nash equilibrium seeking

Barbara Franci, Sergio Grammatico|arXiv (Cornell University)|Dec 9, 2019

Extremum Seeking Control Systems参考文献 37被引用 4

一句话总结

该论文提出了一种分布式、预条件化的前向-后向算法，用于求解具有期望值代价函数的随机广义纳什均衡问题（SGNEPs）。通过使用随机样本近似伪梯度，并利用共轭单调性，该方法在较弱的单调性假设下实现了几乎必然收敛至广义纳什均衡，其数值计算速度优于现有方法。

ABSTRACT

We consider the stochastic generalized Nash equilibrium problem (SGNEP) with expected-value cost functions. Inspired by Yi and Pavel (Automatica, 2019), we propose a distributed GNE seeking algorithm based on the preconditioned forward-backward operator splitting for SGNEP, where, at each iteration, the expected value of the pseudogradient is approximated via a number of random samples. As main contribution, we show almost sure convergence of our proposed algorithm if the pseudogradient mapping is restricted (monotone and) cocoercive. For non-generalized SNEPs, we show almost sure convergence also if the pseudogradient mapping is restricted strictly monotone. Numerical simulations show that the proposed forward-backward algorithm seems faster that other available algorithms.

研究动机与目标

• 为解决大规模、不确定的多智能体系统中存在共同约束时的广义纳什均衡计算挑战。
• 设计一种分布式算法，使得每个智能体仅使用本地信息和伪梯度的噪声样本。
• 在受限共轭单调性下建立SGNEPs的几乎必然收敛性，以及在受限严格单调性下建立SNEPs的几乎必然收敛性。
• 通过采用更简单的基于样本的前向-后向方案，相较于现有随机方法（如外梯度法或前向-后向-后向法），提升计算效率。

提出的方法

• 该算法采用预条件化的前向-后向分裂框架，求解SGNEP的变分不等式形式。
• 在每次迭代中，利用随机变量的独立同分布实现的样本平均来近似期望值伪梯度。
• 引入一个随机误差项以建模采样噪声，并使用浓度不等式来有界其二阶矩。
• 该方法采用递减步长规则，并通过李雅普诺夫型分析确保迭代序列的有界性。
• 通过投影固定点迭代并利用趋于几乎必然为零的残差度量，建立收敛性。
• 分析依赖于投影的非扩张性以及杨不等式，推导出到均衡点距离的递归界。

实验结果

研究问题

• RQ1 能否设计一种分布式、随机的前向-后向算法，在仅使用本地信息和采样伪梯度估计的前提下，实现在SGNEPs中几乎必然收敛至广义纳什均衡？
• RQ2 在伪梯度映射上（例如共轭单调性、单调性）需要哪些假设，才能在随机设置下保证收敛性？
• RQ3 来自随机近似的采样误差如何影响算法的收敛速度与稳定性？
• RQ4 在相同假设下，所提出的算法是否能比现有方法（如外梯度法或前向-后向-后向法）具有更高的计算效率？
• RQ5 预条件化策略是否能在随机GNEP设置下，相比标准前向-后向方案实现更快的收敛速度？

主要发现

• 当伪梯度映射具有受限共轭单调性时，所提算法可实现几乎必然收敛至广义纳什均衡。
• 对于非广义SNEPs，在伪梯度满足受限严格单调性时，同样建立了几乎必然收敛性。
• 采样误差被证明以 $\mathcal{O}(1/\sqrt{S_k})$ 的速率衰减，其中 $S_k$ 为第 $k$ 次迭代的样本数，从而确保渐近一致性。
• 数值仿真表明，尽管算法结构简单，其收敛速度仍快于现有可用的随机GNEP求解器。
• 迭代序列的有界性与残差趋于零，意味着该序列的任意聚点均为SGNEP的解。
• 收敛性证明基于预条件化前向-后向分裂与随机近似的创新结合，将确定性结果扩展至随机设置。