[论文解读] Distributed Variable Sample-Size Gradient-response and Best-response Schemes for Stochastic Nash Games over Graphs

Jinlong Lei, Uday V. Shanbhag|arXiv (Cornell University)|Nov 27, 2018

Distributed Control Multi-Agent Systems参考文献 36被引用 10

一句话总结

本文提出了一种用于图上随机纳什博弈的分布式可变样本量梯度响应与最优响应方案，实现了最优收敛速率和低通信复杂度。通过几何方式调整样本量并结合一致性协议，该方法在保持 $\mathcal{O}(1/\epsilon^{1/v})$ 迭代复杂度和 $\mathcal{O}(1/\epsilon^{1+1/v})$ 预言机复杂度的同时，实现了 $\mathcal{O}(\ln^2(1/\epsilon))$ 的通信复杂度，以达到 $\epsilon$-纳什均衡。

ABSTRACT

This paper considers a stochastic Nash game in which each player minimizes an expectation valued composite objective. We make the following contributions. (I) Under suitable monotonicity assumptions on the concatenated gradient map, we derive ({\bf optimal}) rate statements and oracle complexity bounds for the proposed variable sample-size proximal stochastic gradient-response (VS-PGR) scheme when the sample-size increases at a geometric rate. If the sample-size increases at a polynomial rate of degree $v > 0$, the mean-squared errordecays at a corresponding polynomial rate while the iteration and oracle complexities to obtain an $\epsilon$-NE are $\mathcal{O}(1/\epsilon^{1/v})$ and $\mathcal{O}(1/\epsilon^{1+1/v})$, respectively. (II) We then overlay (VS-PGR) with a consensus phase with a view towards developing distributed protocols for aggregative stochastic Nash games. In the resulting scheme, when the sample-size and the consensus steps grow at a geometric and linear rate, computing an $\epsilon$-NE requires similar iteration and oracle complexities to (VS-PGR) with a communication complexity of $\mathcal{O}(\ln^2(1/\epsilon))$; (III) Under a suitable contractive property associated with the proximal best-response (BR) map, we design a variable sample-size proximal BR (VS-PBR) scheme, where each player solves a sample-average BR problem. Akin to (I), we also give the rate statements, oracle and iteration complexity bounds. (IV) Akin to (II), the distributed variant achieves similar iteration and oracle complexities to the centralized (VS-PBR) with a communication complexity of $\mathcal{O}(\ln^2(1/\epsilon))$ when the communication rounds per iteration increase at a linear rate. Finally, we present some preliminary numerics to provide empirical support for the rate and complexity statements.

研究动机与目标

• 解决在分布式环境下，各参与者最小化数学期望复合目标函数的随机纳什博弈问题。
• 设计高效的分布式算法，以实现计算近似纳什均衡的低通信与迭代复杂度。
• 在不同样本量增长策略下，建立收敛速率与预言机复杂度的边界。
• 将集中式可变样本量方案扩展至分布式变体，同时保持最低限度的通信开销。
• 通过初步数值实验验证理论复杂度边界的正确性。

提出的方法

• 提出一种具有几何或多项式样本量增长的可变样本量近端随机梯度响应（VS-PGR）方案。
• 引入一致性阶段，将VS-PGR扩展为分布式协议，实现在图上的信息交换。
• 设计一种可变样本量近端最优响应（VS-PBR）方案，其中各参与者求解样本平均最优响应问题。
• 在合并梯度映射的单调性与近端最优响应映射的压缩性条件下，建立收敛性。
• 分析在不同样本量与一致性增长速率下，集中式与分布式变体的迭代与预言机复杂度。
• 采用速率分析与复杂度边界，刻画向 $\epsilon$-纳什均衡的收敛特性。

实验结果

研究问题

• RQ1 可变样本量近端随机梯度响应方案在随机纳什博弈中的收敛速率与复杂度为何？
• RQ2 如何将分布式一致性机制与可变样本量方案结合，以维持低通信复杂度？
• RQ3 当样本量按多项式方式增长而非几何方式增长时，迭代与预言机复杂度的边界是什么？
• RQ4 近端最优响应映射的压缩性质在可变样本量设置下如何影响收敛性？
• RQ5 在保持最优迭代与预言机复杂度的前提下，分布式变体可实现的通信复杂度是多少？

主要发现

• 当样本量呈几何方式增长时，VS-PGR方案实现了最优收敛速率，$\epsilon$-纳什均衡的迭代复杂度为 $\mathcal{O}(1/\epsilon^{1/v})$，预言机复杂度为 $\mathcal{O}(1/\epsilon^{1+1/v})$。
• 当样本量以 $v > 0$ 次多项式方式增长时，均方误差以 $\mathcal{O}(1/k^v)$ 的多项式速率衰减，其中 $k$ 为迭代次数。
• 当一致性步长线性增长且样本量呈几何方式增长时，分布式VS-PGR变体实现了 $\mathcal{O}(\ln^2(1/\epsilon))$ 的通信复杂度。
• 在近端最优响应映射具有压缩性的条件下，VS-PBR方案达到了与VS-PGR相似的收敛与复杂度边界。
• 分布式VS-PBR变体在通信轮数线性增长时，保持了与集中式版本相同的迭代与预言机复杂度，且通信复杂度为 $\mathcal{O}(\ln^2(1/\epsilon))$。
• 初步数值实验在经验上支持了梯度响应与最优响应方案的理论速率与复杂度陈述。