[논문 리뷰] Distributed Forward-Backward algorithms for stochastic generalized Nash equilibrium seeking

Barbara Franci, Sergio Grammatico|arXiv (Cornell University)|2019. 12. 09.

Extremum Seeking Control Systems참고 문헌 37인용 수 4

한 줄 요약

이 논문은 기대값 비용 함수를 가진 확률적 일반화 나이시 균형 문제(SGNEPs)를 해결하기 위해 분산형, 전처리된 전진-후진 알고리즘을 제안한다. 허위 기울기(pseudogradient)를 확률적 표본으로 근사하고 코코어시비티(cocoercivity)를 활용함으로써, 약한 단조성 가정 하에 거의 확실한 수렴을 달성하며, 기존 방법들보다 수치적 속도에서 뛰어나다.

ABSTRACT

We consider the stochastic generalized Nash equilibrium problem (SGNEP) with expected-value cost functions. Inspired by Yi and Pavel (Automatica, 2019), we propose a distributed GNE seeking algorithm based on the preconditioned forward-backward operator splitting for SGNEP, where, at each iteration, the expected value of the pseudogradient is approximated via a number of random samples. As main contribution, we show almost sure convergence of our proposed algorithm if the pseudogradient mapping is restricted (monotone and) cocoercive. For non-generalized SNEPs, we show almost sure convergence also if the pseudogradient mapping is restricted strictly monotone. Numerical simulations show that the proposed forward-backward algorithm seems faster that other available algorithms.

연구 동기 및 목표

• 공유 제약 조건이 있는 대규모이고 불확실한 다중 에이전트 시스템에서 일반화 나이시 균형을 계산하는 데 도전하는 것.
• 각 에이전트가 국소 정보와 편향이 있는 허위 기울기 추정치만을 사용하는 분산형 알고리즘을 개발하는 것.
• 제한된 코코어시비티 하에 SGNEPs에 대해 거의 확실한 수렴을 확립하는 것.
• 기존의 확률적 방법들인 외삽법(extragradient) 또는 전진-후진-후진(forward–backward–forward)과 비교해 더 높은 계산 효율성을 확보하는 것.

제안 방법

• 알고리즘은 SGNEP의 변동성 부등식 공식화를 해결하기 위해 전처리된 전진-후진 분할 프레임워크를 사용한다.
• 각 반복 단계에서 기대값 허위 기울기는 랜덤 변수의 i.i.d. 실현값들의 표본 평균을 통해 근사된다.
• 표본 오차를 모델링하기 위해 확률적 오차 항을 도입하고, 이의 2차 모멘트는 농도 불등식을 사용해 유계로 제한한다.
• 알고리즘은 점점 감소하는 스텝 사이즈 규칙을 사용하며, 리아푸노프 유형 분석을 통해 반복값의 유계성을 확보한다.
• 잔차가 거의 확실하게 0으로 수렴하는 프로젝션 고정점 반복을 사용하여 수렴성을 확립한다.
• 분석은 사영의 비확장성과 얀의 부등식을 활용해 균형점까지의 거리에 대한 재귀적 유계를 유도한다.

실험 결과

연구 질문

• RQ1 국소 정보와 표본 기반 허위 기울기 추정치만을 사용하는 분산형, 확률적 전진-후진 알고리즘이 SGNEPs에서 거의 확실한 수렴을 달성할 수 있는가?
• RQ2 확률적 설정에서 수렴을 보장하기 위해 허위 기울기 사상(mapping)에 대해 필요한 가정(예: 코코어시비티, 단조성)은 무엇인가?
• RQ3 확률적 근사에서 발생하는 표본 오차는 알고리즘의 수렴 속도와 안정성에 어떤 영향을 미치는가?
• RQ4 제안된 알고리즘이 동일한 가정 하에 기존의 방법들인 외삽법 또는 전진-후진-후진과 비교해 더 계산 효율성이 높아질 수 있는가?
• RQ5 전처리 전략은 표준 전진-후진 방법 대비 확률적 GNEP 설정에서 더 빠른 수렴을 가능하게 하는가?

주요 결과

• 제안된 알고리즘은 허위 기울기 사상이 제한된 코코어시비티를 만족할 경우 일반화 나이시 균형점으로 거의 확실하게 수렴한다.
• 비일반화된 SNEPs의 경우, 허위 기울기 사상의 제한된 엄격 단조성 조건 하에 거의 확실한 수렴이 확립된다.
• 표본 오차는 반복 단계 $k$에서의 표본 수 $S_k$에 대해 $\mathcal{O}(1/\sqrt{S_k})$로 감소함을 보이며, 이는 渐近 일致성( asymptotic consistency)을 보장한다.
• 수치 시뮬레이션 결과, 단순한 구조에도 불구하고 다른 가용한 확률적 GNEP 해법보다 더 빠른 수렴을 보였다.
• 반복값의 유계성과 사라지는 잔차는 수열의 임의의 클러스터 포인트가 SGNEP의 해임을 의미한다.
• 수렴 증명은 확률적 근사와 함께 전처리된 전진-후진 분할의 새로운 응용에 기반하며, 결정론적 결과를 확률적 설정으로 확장한다.