[논문 리뷰] Distributed Variable Sample-Size Gradient-response and Best-response Schemes for Stochastic Nash Games over Graphs

Jinlong Lei, Uday V. Shanbhag|arXiv (Cornell University)|2018. 11. 27.

Distributed Control Multi-Agent Systems참고 문헌 36인용 수 10

한 줄 요약

이 논문은 그래프 상에서 확률적 나시 게임에 대해 분산 변수 샘플 크기 경사-반응 및 최적 반응 기반 기법을 제안하며, 최적 수렴 속도와 낮은 통신 복잡도를 달성한다. 기하급수적으로 증가하는 샘플 크기와 공통 합의 프로토콜을 활용함으로써, $Ó(\ln^2(1/\epsilon))$의 통신 복잡도를 확보하면서도 $\mathcal{O}(1/\epsilon^{1/v})$의 반복 횟수와 $\mathcal{O}(1/\epsilon^{1+1/v})$의 오라클 복잡도를 유지하여 $\epsilon$-나시 균형에 수렴한다.

ABSTRACT

This paper considers a stochastic Nash game in which each player minimizes an expectation valued composite objective. We make the following contributions. (I) Under suitable monotonicity assumptions on the concatenated gradient map, we derive ({\bf optimal}) rate statements and oracle complexity bounds for the proposed variable sample-size proximal stochastic gradient-response (VS-PGR) scheme when the sample-size increases at a geometric rate. If the sample-size increases at a polynomial rate of degree $v > 0$, the mean-squared errordecays at a corresponding polynomial rate while the iteration and oracle complexities to obtain an $\epsilon$-NE are $\mathcal{O}(1/\epsilon^{1/v})$ and $\mathcal{O}(1/\epsilon^{1+1/v})$, respectively. (II) We then overlay (VS-PGR) with a consensus phase with a view towards developing distributed protocols for aggregative stochastic Nash games. In the resulting scheme, when the sample-size and the consensus steps grow at a geometric and linear rate, computing an $\epsilon$-NE requires similar iteration and oracle complexities to (VS-PGR) with a communication complexity of $\mathcal{O}(\ln^2(1/\epsilon))$; (III) Under a suitable contractive property associated with the proximal best-response (BR) map, we design a variable sample-size proximal BR (VS-PBR) scheme, where each player solves a sample-average BR problem. Akin to (I), we also give the rate statements, oracle and iteration complexity bounds. (IV) Akin to (II), the distributed variant achieves similar iteration and oracle complexities to the centralized (VS-PBR) with a communication complexity of $\mathcal{O}(\ln^2(1/\epsilon))$ when the communication rounds per iteration increase at a linear rate. Finally, we present some preliminary numerics to provide empirical support for the rate and complexity statements.

연구 동기 및 목표

• 분산 환경에서 기대값을 갖는 복합 목적함수를 최소화하는 데서 발생하는 확률적 나시 게임을 다루는 것.
• 근사 나시 균형을 계산하기 위한 낮은 통신 및 반복 복잡도를 갖는 효율적인 분산 알고리즘을 개발하는 것.
• 다양한 샘플 크기 성장 전략 하에서 수렴 속도 및 오라클 복잡도 한계를 설정하는 것.
• 중앙집중식 변수 샘플 크기 기법을 통신 오버헤드를 최소화하면서 분산 변형으로 확장하는 것.
• 초기 수치 실험을 통해 이론적 복잡도 한계를 검증하는 것.

제안 방법

• 기하급수적 또는 다항식 샘플 크기 성장 방식을 갖는 변수 샘플 크기 프록시 스토하스틱 경사-반응(VS-PGR) 기법을 제안한다.
• VS-PGR를 분산 프로토콜로 확장하기 위해 공통 합의 단계를 도입하여 그래프 상에서 정보 교환을 가능하게 한다.
• 플레이어들이 샘플 평균 최적 반응 문제를 푸는 변수 샘플 크기 프록시 최적 반응(VS-PBR) 기법을 설계한다.
• 연결된 경사 지도의 단조성과 프록시 최적 반응 지도의 수축성 조건 하에서 수렴성을 확립한다.
• 다양한 샘플 크기 및 공통 합의 성장률 하에서 중심집중형 및 분산형 변형의 반복 및 오라클 복잡도를 분석한다.
• 속도 분석 및 복잡도 한계를 활용하여 $\epsilon$-나시 균형 수렴 특성을 규명한다.

실험 결과

연구 질문

• RQ1 확률적 나시 게임에 대해 변수 샘플 크기 프록시 스토하스틱 경사-반응 기법의 수렴 속도와 복잡도는 무엇인가요?
• RQ2 변수 샘플 크기 기법과 분산 공통 합의를 어떻게 통합하여 낮은 통신 복잡도를 유지할 수 있나요?
• RQ3 샘플 크기가 기하급수적 대신 다항식적으로 증가할 경우 반복 및 오라클 복잡도 한계는 어떻게 되나요?
• RQ4 프록시 최적 반응 지도의 수축성 특성이 변수 샘플 크기 설정에서 수렴에 어떤 영향을 미치나요?
• RQ5 분산 변형에서 최적의 반복 및 오라클 복잡도를 유지하면서 달성 가능한 통신 복잡도는 얼마인가요?

주요 결과

• 샘플 크기가 기하급수적으로 증가할 경우, VS-PGR 기법은 $\mathcal{O}(1/\epsilon^{1/v})$의 반복 횟수와 $\mathcal{O}(1/\epsilon^{1+1/v})$의 오라클 복잡도를 갖는 최적 수렴 속도를 달성하여 $\epsilon$-나시 균형에 수렴한다.
• 다항식 샘플 크기 성장률이 $v > 0$일 경우, 평균 제곱 오차는 반복 횟수 $k$에 대해 다항식 속도 $\mathcal{O}(1/k^v)$로 감소한다.
• 분산 VS-PGR 변형은 공통 합의 단계가 선형으로 증가하고 샘플 크기가 기하급수적으로 증가할 경우 $\mathcal{O}(\ln^2(1/\epsilon))$의 통신 복잡도를 달성한다.
• 수축성 프록시 최적 반응 지도 하에서 VS-PBR 기법은 VS-PGR와 유사한 수렴 및 복잡도 한계를 확보한다.
• 분산 VS-PBR 변형은 중심집중형 대비 동일한 반복 및 오라클 복잡도를 유지하며, 통신 라운드가 선형으로 증가할 경우 $\mathcal{O}(\ln^2(1/\epsilon))$의 통신 복잡도를 확보한다.
• 초기 수치 실험 결과는 경사-반응 및 최적 반응 기법에 대해 이론적 속도 및 복잡도 진술을 실증적으로 지지한다.