[论文解读] Distributed Variable Sample-Size Gradient-response and Best-response Schemes for Stochastic Nash Equilibrium Problems over Graphs

Jinlong Lei, Uday V. Shanbhag|arXiv (Cornell University)|Nov 27, 2018

Distributed Control Multi-Agent Systems参考文献 39被引用 6

一句话总结

本文提出了用于图上随机纳什均衡问题的分布式可变样本量梯度响应（d-VS-PGR）与最优响应（d-VS-PBR）方案，结合了递增的批量大小与一致性迭代。该方法实现了几何收敛速率和最优的Oracle复杂度，通信复杂度在计算$\epsilon$-纳什均衡时被限定为$\mathcal{O}(\ln^2(1/\epsilon))$。

ABSTRACT

This paper considers a stochastic Nash game in which each player minimizes an expectation valued composite objective. We make the following contributions. (I) Under suitable monotonicity assumptions on the concatenated gradient map, we derive optimal rate statements and oracle complexity bounds for the proposed variable sample-size proximal stochastic gradient-response (VS-PGR) scheme when the sample-size increases at a geometric rate. If the sample-size increases at a polynomial rate of degree $v > 0$, the mean-squared errordecays at a corresponding polynomial rate while the iteration and oracle complexities to obtain an $ε$-NE are $\mathcal{O}(1/ε^{1/v})$ and $\mathcal{O}(1/ε^{1+1/v})$, respectively. (II) We then overlay (VS-PGR) with a consensus phase with a view towards developing distributed protocols for aggregative stochastic Nash games. In the resulting scheme, when the sample-size and the consensus steps grow at a geometric and linear rate, computing an $ε$-NE requires similar iteration and oracle complexities to (VS-PGR) with a communication complexity of $\mathcal{O}(\ln^2(1/ε))$; (III) Under a suitable contractive property associated with the proximal best-response (BR) map, we design a variable sample-size proximal BR (VS-PBR) scheme, where each player solves a sample-average BR problem. Akin to (I), we also give the rate statements, oracle and iteration complexity bounds. (IV) Akin to (II), the distributed variant achieves similar iteration and oracle complexities to the centralized (VS-PBR) with a communication complexity of $\mathcal{O}(\ln^2(1/ε))$ when the communication rounds per iteration increase at a linear rate. Finally, we present some preliminary numerics to provide empirical support for the rate and complexity statements.

研究动机与目标

• 开发适用于信息共享受限的网络化系统中随机纳什均衡问题的分布式算法。
• 设计在单调性和压缩性假设下可实现最优收敛速率的可变样本量随机梯度响应与最优响应方案。
• 分析集中式与分布式变体的迭代、Oracle及通信复杂度。
• 在几何与多项式样本量增长条件下，建立收敛速率与复杂度边界。
• 实现大规模随机博弈中$\epsilon$-纳什均衡的可扩展分布式计算。

提出的方法

• 提出一种具有几何或多项式样本量增长的可变样本量近端随机梯度响应（VS-PGR）方案，以加速收敛。
• 引入一种分布式变体（d-VS-PGR），结合一致性步骤与递增的样本大小，以实现去中心化计算。
• 设计一种可变样本量近端最优响应（VS-PBR）方案，利用近端映射的压缩性质以实现更快收敛。
• 设计一种分布式最优响应变体（d-VS-PBR），每轮迭代包含$k+1$轮一致性通信，以保持收敛速率。
• 采用误差界与压缩性论证，基于梯度单调性与Lipschitz连续性假设推导收敛速率。
• 通过将样本量增长与均方误差衰减及$\epsilon$-精度关联，分析Oracle复杂度。

实验结果

研究问题

• RQ1 在随机纳什均衡问题中，可变样本量随机梯度响应方案可实现何种收敛速率？
• RQ2 几何与多项式样本量增长如何影响算法的均方误差与复杂度？
• RQ3 基于一致性的分布式协议能否在最小化通信量的同时保持集中式方案的收敛速率？
• RQ4 当样本量呈几何增长且一致性轮数线性增加时，分布式方案的通信复杂度是多少？
• RQ5 在何种条件下，近端最优响应映射能通过可变采样实现几何收敛？

主要发现

• 当样本量呈几何增长时，d-VS-PGR方案在计算$\epsilon$-纳什均衡时达到$\mathcal{O}(\ln^2(1/\epsilon))$的通信复杂度与$\mathcal{O}(\ln(1/\epsilon))$的迭代复杂度。
• 对于增长率$v>0$的多项式样本量增长，均方误差以$\mathcal{O}(1/\epsilon^{1/v})$的速率衰减，迭代与Oracle复杂度分别为$\mathcal{O}(1/\epsilon^{1/v})$与$\mathcal{O}(1/\epsilon^{1+1/v})$。
• 当样本量呈几何增长时，d-VS-PBR方案实现几何收敛，迭代复杂度为$\mathcal{O}(\ln(1/\epsilon))$，Oracle复杂度为$\mathcal{O}(1/\epsilon)$。
• d-VS-PBR方案在每轮迭代中使用$k+1$轮一致性通信时，其迭代与Oracle复杂度与集中式VS-PBR方案相近，通信复杂度为$\mathcal{O}(\ln^2(1/\epsilon))$。
• 在压缩性近端最优响应映射下，VS-PBR方案确保几何收敛且Oracle复杂度最优。
• 理论分析证实，在梯度单调性与Lipschitz连续性的标准假设下，误差衰减与复杂度边界均为紧致的。