[논문 리뷰] Distributed Variable Sample-Size Gradient-response and Best-response Schemes for Stochastic Nash Equilibrium Problems over Graphs

Jinlong Lei, Uday V. Shanbhag|arXiv (Cornell University)|2018. 11. 27.

Distributed Control Multi-Agent Systems참고 문헌 39인용 수 6

한 줄 요약

이 논문은 그래프 상의 확률적 나시 균형 문제를 위한 분산 변수 샘플 크기 경사 응답(d-VS-PGR) 및 최적 응답(d-VS-PBR) 기법을 제안한다. 이는 증가하는 배치 크기와 공감(iteration)을 결합하여 기하 수렴 속도와 최적의 오라클 복잡도를 달성하며, $\epsilon$-나시 균형 계산의 통신 복잡도가 $\mathcal{O}(\ln^2(1/\epsilon))$로 유계임을 보인다.

ABSTRACT

This paper considers a stochastic Nash game in which each player minimizes an expectation valued composite objective. We make the following contributions. (I) Under suitable monotonicity assumptions on the concatenated gradient map, we derive optimal rate statements and oracle complexity bounds for the proposed variable sample-size proximal stochastic gradient-response (VS-PGR) scheme when the sample-size increases at a geometric rate. If the sample-size increases at a polynomial rate of degree $v > 0$, the mean-squared errordecays at a corresponding polynomial rate while the iteration and oracle complexities to obtain an $ε$-NE are $\mathcal{O}(1/ε^{1/v})$ and $\mathcal{O}(1/ε^{1+1/v})$, respectively. (II) We then overlay (VS-PGR) with a consensus phase with a view towards developing distributed protocols for aggregative stochastic Nash games. In the resulting scheme, when the sample-size and the consensus steps grow at a geometric and linear rate, computing an $ε$-NE requires similar iteration and oracle complexities to (VS-PGR) with a communication complexity of $\mathcal{O}(\ln^2(1/ε))$; (III) Under a suitable contractive property associated with the proximal best-response (BR) map, we design a variable sample-size proximal BR (VS-PBR) scheme, where each player solves a sample-average BR problem. Akin to (I), we also give the rate statements, oracle and iteration complexity bounds. (IV) Akin to (II), the distributed variant achieves similar iteration and oracle complexities to the centralized (VS-PBR) with a communication complexity of $\mathcal{O}(\ln^2(1/ε))$ when the communication rounds per iteration increase at a linear rate. Finally, we present some preliminary numerics to provide empirical support for the rate and complexity statements.

연구 동기 및 목표

• 정보 공유가 제한된 네트워크 시스템에서 분산 알고리즘을 개발하여 확률적 나시 균형 문제를 해결한다.
• 단조성과 수축 성질 가정 하에 최적 수렴 속도를 달성하는 변수 샘플 크기 확률적 경사 응답 및 최적 응답 기법을 설계한다.
• 중앙집중형 및 분산형 변형에 대해 반복, 오라클, 통신 복잡도를 분석한다.
• 기하 또는 다항식 샘플 크기 증가 가정 하에 수렴 속도 및 복잡도 한계를 확립한다.
• 대규모 확률적 게임에서 $\epsilon$-나시 균형의 확장 가능한 분산 계산을 가능하게 한다.

제안 방법

• 기하 또는 다항식 샘플 크기 증가를 갖는 변수 샘플 크기 프락시멀 확률적 경사 응답(VS-PGR) 기법을 제안하여 수렴 속도를 가속화한다.
• 중앙집중형 계산을 가능하게 하는 분산 변형(d-VS-PGR)을 도입하여 공감 단계와 증가하는 샘플 크기를 결합한다.
• 프락시멀 맵의 수축 성질을 활용하여 더 빠른 수렴을 달성하는 변수 샘플 크기 프락시멀 최적 응답(VS-PBR) 기법을 개발한다.
• 각 반복에 $k+1$회의 공감 라운드를 갖는 분산 최적 응답 변형(d-VS-PBR)을 설계하여 수렴 속도를 유지한다.
• 오차 한계와 수축 추론을 활용하여 경사의 단조성과 리프시츠 연속성 가정 하에 수렴 속도를 유도한다.
• 샘플 크기 증가와 평균 제곱 오차 감소 및 $\epsilon$-정확도 간의 관계를 통해 오라클 복잡도를 분석한다.

실험 결과

연구 질문

• RQ1 변수 샘플 크기 확률적 경사 응답 기법이 확률적 나시 균형 문제에서 달성할 수 있는 수렴 속도는 무엇인가?
• RQ2 기하적 대비 다항식 샘플 크기 증가가 알고리즘의 평균 제곱 오차 및 복잡도에 미치는 영향은 무엇인가?
• RQ3 분산 공감 기반 프로토콜은 중앙집중형 기법의 수렴 속도를 유지하면서 통신 비용을 최소화할 수 있는가?
• RQ4 샘플 크기가 기하적으로 증가하고 공감 라운드 수가 선형적으로 증가할 경우 분산 기법의 통신 복잡도는 어떻게 되는가?
• RQ5 프락시멀 최적 응답 맵이 변수 샘플링 하에 기하 수렴을 보장하는 조건은 무엇인가?

주요 결과

• 샘플 크기가 기하적으로 증가할 경우, d-VS-PGR 기법은 $\mathcal{O}(\ln^2(1/\epsilon))$의 통신 복잡도와 $\mathcal{O}(\ln(1/\epsilon))$의 반복 복잡도를 갖는다. 이는 $\epsilon$-나시 균형을 위한 것이다.
• 샘플 크기가 다항식으로 증가하고 비율 $v>0$일 경우, 평균 제곱 오차는 $\mathcal{O}(1/\epsilon^{1/v})$의 속도로 감소하며, 반복 복잡도와 오라클 복잡도는 각각 $\mathcal{O}(1/\epsilon^{1/v})$ 및 $\mathcal{O}(1/\epsilon^{1+1/v})$이다.
• 샘플 크기가 기하적으로 증가할 경우, d-VS-PBR 기법은 기하 수렴을 달성하며, 반복 복잡도는 $\mathcal{O}(\ln(1/\epsilon))$, 오라클 복잡도는 $\mathcal{O}(1/\epsilon)$이다.
• d-VS-PBR 기법은 중앙집중형 VS-PBR와 유사한 반복 및 오라클 복잡도를 유지하며, 각 반복에 $k+1$회의 공감 라운드가 있을 경우 통신 복잡도는 $\mathcal{O}(\ln^2(1/\epsilon))$이다.
• 수축 성질을 갖는 프락시멀 최적 응답 맵 하에서 VS-PBR 기법은 최적 오라클 복잡도를 확보하며 기하 수렴을 보장한다.
• 이론적 분석을 통해 경사의 단조성과 리프시츠 연속성에 대한 표준 가정 하에 오차 감소 및 복잡도 한계가 날카롭게 tight함을 확인한다.