[논문 리뷰] Asynchronous Schemes for Stochastic and Misspecified Potential Games and Nonconvex Optimization

Jinlong Lei, Uday V. Shanbhag|arXiv (Cornell University)|2017. 11. 06.

Distributed Control Multi-Agent Systems참고 문헌 67인용 수 3

한 줄 요약

이 논문은 매개변수 불일치가 있는 확률적 잠재 게임에 대해 이종적이고 비정확한 프락시멀 최적 반응 기법을 제안하며, 확률적 근사와 투영된 경사하강법을 융합하여 탈중앙화되고 통신 비용이 낮은 균형 계산을 가능하게 한다. 지연된 정보와 비볼록 잠재 함수 조건 하에서도 거의 확실한 수렴과 기대값이 0으로 수렴하는 갭 함수 수렴을 확립한다.

ABSTRACT

The distributed computation of equilibria and optima has seen growing interest in a broad collection of networked problems. We consider the computation of equilibria of convex stochastic Nash games characterized by a possibly nonconvex potential function. Our focus is on two classes of stochastic Nash games: (P1): A potential stochastic Nash game, in which each player solves a parameterized stochastic convex program; and (P2): A misspecified generalization, where the player-specific stochastic program is complicated by a parametric misspecification. In both settings, exact proximal BR solutions are generally unavailable in finite time since they necessitate solving parameterized stochastic programs. Consequently, we design two asynchronous inexact proximal BR schemes to solve the problems, where in each iteration a single player is randomly chosen to compute an inexact proximal BR solution with rivals' possibly outdated information. Yet, in the misspecified regime (P2), each player possesses an extra estimate of the misspecified parameter and updates its estimate by a projected stochastic gradient (SG) algorithm. By Since any stationary point of the potential function is a Nash equilibrium of the associated game, we believe this paper is amongst the first ones for stochastic nonconvex (but block convex) optimization problems equipped with almost-sure convergence guarantees. These statements can be extended to allow for accommodating weighted potential games and generalized potential games. Finally, we present preliminary numerics based on applying the proposed schemes to congestion control and Nash-Cournot games.

연구 동기 및 목표

• 매개변수 불확실성이 존재하는 확률적 잠재 게임에서 탈중앙화되고 통신 비용이 낮은 나시 균형을 계산하기 위한 알고리즘 개발.
• 유한 시간 내에 스토크래틱 프로그램의 비가역성으로 인한 비정확한 프락시멀 최적 반응 해법의 도전 과제 해결.
• 비정확한 해법을 포함한 이종적 기법 내에서 알려지지 않은 매개변수를 투영된 스토크래틱 경사하강법을 통해 공동 학습하는 통합.
• 일반적인 지연 및 비정확성 조건 하에서 반복값이 나시 균형의 연결된 부분집합으로 거의 확실하게 수렴하도록 보장.
• 강凸성 조건이 적용되는 플레이어 문제로 수렴 보장을 확장하고, 혼잡도 제어 및 나시-쿠르노 게임에의 적용성을 입증.

제안 방법

• 한 번의 반복에 한 명의 플레이어가 지연된 상대 플레이어 정보와 스토크래틱 근사를 통한 비정확한 해법을 사용하여 이종적 비정확한 프락시멀 최적 반응 기법을 사용.
• 증가하는 배치 크기를 갖는 투영된 스토크래틱 경사하강 알고리즘을 사용하여 불일치된 게임에서 알려지지 않은 매개변수를 추정.
• 잠재 함수에 블록-좌표 강하법을 적용하며, 나시 균형과 잠재 함수의 정류점 간의 등가성을 활용.
• 비정확성 수열에 조건을 도입하여 나시 균형의 연결된 부분집합으로 거의 확실한 수렴을 보장.
• 기대값이 0으로 수렴하는 갭 함수를 도입하여 균형 품질을 나타냄.
• 적절한 기법 수정을 통해 가중치 및 일반화된 잠재 게임으로 결과를 확장.

실험 결과

연구 질문

• RQ1 매개변수 불일치가 있는 확률적 잠재 게임에서 이종적 비정확한 프락시멀 최적 반응 기법이 일반적인 비정확성 및 통신 지연 조건 하에 거의 확실하게 나시 균형의 연결된 부분집합으로 수렴할 수 있는가?
• RQ2 플레이어별 문제의 강凸성 조건이 있을 경우와 일반적인 볼록성 조건이 있을 경우 수렴 행동은 어떻게 달라지는가?
• RQ3 이종적 기법과 표준 스토크래틱 경사하강법 간에 반복 복잡도와 통신 오버헤드 사이의 상충 관계는 어떠한가?
• RQ4 투영된 스토크래틱 경사하강법을 통한 알려지지 않은 매개변수의 공동 학습이 수렴 성질을 해치지 않도록 이종적 최적 반응 기법에 통합될 수 있는가?
• RQ5 제안된 기법이 가중치 및 일반화된 잠재 게임으로 얼마나 널리 일반화될 수 있는가?

주요 결과

• 제안된 이종적 비정확한 프락시멀 최적 반응 기법은 비정확성과 통신 지연에 대한 일반적인 조건 하에서 나시 균형 집합의 연결된 부분집합으로 거의 확실하게 수렴한다.
• 갭 함수는 기대값이 0으로 수렴하여 반복값이 게임 이론적 최적성 측면에서 나시 균형에 수렴함을 나타낸다.
• 강凸성 조건이 성립하는 경우, 프락시멀 정규화 없이도 비정확한 순수 최적 반응 기법이 거의 확실하게 수렴함을 입증한다.
• 표준 이종적 스토크래틱 경사하강법 대비 약 500배 낮은 통신 오버헤드를 달성하면서 약 10배 더 많은 경사계산 단계가 필요하다.
• 혼잡도 제어 및 나시-쿠르노 게임에 대한 수치 결과는 거의 확실한 수렴을 확인하며 유리한 통신 효율성을 보여준다.