[논문 리뷰] On Synchronous, Asynchronous, and Randomized Best-Response schemes for computing equilibria in Stochastic Nash games

Jinlong Lei, Uday V. Shanbhag외 2명|arXiv (Cornell University)|2017. 04. 15.

Game Theory and Voting Systems참고 문헌 41인용 수 9

한 줄 요약

이 논문은 플레이어들이 기대값을 갖는 볼록 목적함수를 최소화하는 확률적 내쉬 게임에서 내쉬 균형을 계산하기 위해 비정확하고 분산된 최적반응(BR) 기법—동기, 랜덤화, 비동기 방식—을 제안한다. 프락시멀 BR 사상과 확률적 근사법을 조합함으로써 저자들은 거의 확실한 수렴과 $\mathcal{O}(1/\epsilon^{2(1+c)+\delta})$ 의 속도로 평균 수렴을 확립하였으며, 이는 동기 경우 $c=0$ 으로 거의 최적의 반복 복잡도를 달성한다.

ABSTRACT

This work considers a stochastic Nash game in which each player solves a parameterized stochastic optimization problem. In deterministic regimes, best-response schemes have been shown to be convergent under a suitable spectral property associated with the proximal best-response map. However, a direct application of this scheme to stochastic settings requires obtaining exact solutions to stochastic optimization at each iteration. Instead, we propose an inexact generalization in which an inexact solution is computed via an increasing number of projected stochastic gradient steps. Based on this framework, we present three inexact best-response schemes: (i) First, we propose a synchronous scheme where all players simultaneously update their strategies; (ii) Subsequently, we extend this to a randomized setting where a subset of players is randomly chosen to their update strategies while the others keep their strategies invariant; (iii) Finally, we propose an asynchronous scheme, where each player determines its own update frequency and may use outdated rival-specific data in updating its strategy. Under a suitable contractive property of the proximal best-response map, we derive a.s. convergence of the iterates for (i) and (ii) and mean-convergence for (i) -- (iii). In addition, we show that for (i) -- (iii), the iterates converge to the unique equilibrium in mean at a prescribed linear rate. Finally, we establish the overall iteration complexity in terms of projected stochastic gradient steps for computing an $ε-$Nash equilibrium and in all settings, the iteration complexity is ${\cal O}(1/ε^{2(1+c) + δ})$ where $c = 0$ in the context of (i) and represents the positive cost of randomization (in (ii)) and asynchronicity and delay (in (iii)). The schemes are further extended to linear and quadratic recourse-based stochastic Nash games.

연구 동기 및 목표

• 불확실성, 지연, 비동기성 하에서 확률적 내쉬 게임에서 내쉬 균형을 계산하기 위한 분산형 비정확한 최적반응 기법을 개발한다.
• 확률적 환경에서 정확한 BR 기법의 한계를 보완하기 위해 정확한 해를 확률적 근사법(SA)을 통해 비정확한 해로 대체한다.
• 수축성 프락시멀 BR 사상 하에서 동기, 랜덤화, 비동기 BR 기법의 수렴 성질—거의 확실한 수렴과 평균 수렴—을 분석한다.
• 내쉬 균형의 $\epsilon$-근접 해를 얻기 위한 반복 복잡도의 상한을 확립하여 동기 경우의 거의 최적성임을 보인다.
• 선형 및 이차 후속 조치를 갖는 이단계 확률적 내쉬 게임으로 이 프레임워크를 확장한다.

제안 방법

• 각 플레이어가 확률적 근사법(SA) 기반으로 스토하스틱 하위문제의 정확한 해를 피하고 근사적으로 BR 문제를 해결하는 비정확한 프락시멀 BR 기법을 제안한다.
• 세 가지 변형을 도입한다: (i) 모든 플레이어가 동시에 업데이트하는 동기 업데이트, (ii) 랜덤하게 선택된 플레이어 부분집합이 업데이트하는 랜덤화 업데이트, (iii) 지연되고 오래된 경쟁자 데이터를 사용하는 비동기 업데이트.
• 수렴을 보장하기 위해 프락시멀 BR 사상에 수축성 성질을 적용하며, 사상의 스펙트럼 및 수축 조건을 활용한다.
• 반복 복잡도를 $\mathcal{O}(1/\epsilon^{2(1+c)+\delta})$ 로 분석하기 위해 투영된 확률적 경사도를 사용하여 비정확한 해를 계산한다.
• 기대 오차에 대한 유도적 경계를 통해 수렴 속도를 유도하며, $\mathbb{E}[\|x_{j,k}-x_{j}^*\|] \leq (C+k)\rho^{\lfloor k/B_1 \rfloor}$ 를 도출하여 선형 수렴을 의미한다.
• 선형 및 이차 후속 조치를 갖는 이단계 확률적 내쉬 게임으로 이 프레임워크를 확장하며, 다중 포트폴리오 및 능력 확장 문제에서 수치적 검증을 수행한다.

실험 결과

연구 질문

• RQ1 확률적 근사법을 사용하는 비정확한 최적반응 기법이 확률적 내쉬 게임에서 내쉬 균형으로 수렴할 수 있는가?
• RQ2 동기, 랜덤화, 비동기 BR 기법 간의 수렴 성능과 반복 복잡도는 어떻게 비교되는가?
• RQ3 이 기법들에서 $\epsilon$-내쉬 균형을 달성하기 위한 반복 복잡도는 무엇이며, 확률적 볼록 최적화의 최적 속도와 비교해 볼 때 어떻게 되는가?
• RQ4 제안된 기법은 선형 및 이차 후속 조치를 갖는 이단계 확률적 내쉬 게임을 다룰 수 있는가?
• RQ5 비동기성, 랜덤화, 지연 조건 하에서도 수렴 속도가 선형 유지되는가?

주요 결과

• 제안된 비정확한 BR 기법은 동기 및 랜덤화 기법에서 거의 확실한 수렴을 달성하며, 모든 세 기법에서 평균 수렴을 보인다.
• 모든 기법은 평균 수렴에서 선형 수렴을 보이며, 기대 오차는 $\mathbb{E}[\|x_{j,k}-x_{j}^*\|] \leq (C+k)\rho^{\lfloor k/B_1 \rfloor}$ 로 유계되어 있어, 하위선형 수렴이 아닌 선형 수렴임을 의미한다.
• 내쉬 균형의 $\epsilon$-근접 해를 얻기 위한 반복 복잡도는 $\mathcal{O}(1/\epsilon^{2(1+c)+\delta})$ 이며, 동기 경우 $c=0$ 이므로 거의 최적임을 나타낸다.
• 동기 제어 환경에서는 확률적 근사법 기반의 스토하스틱 볼록 최적화에서 거의 최적의 수렴 속도를 달성한다.
• 비동기성과 랜덤화 조건 하에서도 수렴 속도가 유지되며, $c>0$ 이 이 기능들의 복잡도 상한에 반영된 비용을 나타낸다.
• 다중 포트폴리오 투자 및 이단계 능력 확장 게임에 대한 수치적 결과는 이론적 복잡도 및 수렴 속도 주장의 타당성을 검증한다.