[논문 리뷰] Learning Nash Equilibria in Congestion Games

Walid Krichene, Benjamin Drighès외 1명|arXiv (Cornell University)|2014. 07. 31.

Advanced Bandit Algorithms Research참고 문헌 14인용 수 6

한 줄 요약

이 논문은 반복적 혼잡 게임에서 온라인 학습 동역학의 수렴성을 연구하며, 플레이어가 하위선형 할인 불만족도를 갖는 알고리즘을 사용할 경우 인구 전략이 나시 균형으로 수렴함을 보여준다. 이는 할인 헤지 알고리즘을 포함한 강력한 수렴을 보장하는 근사 복제 동역학(AREP) 클래스의 알고리즘을 도입한다.

ABSTRACT

We study the repeated congestion game, in which multiple populations of players share resources, and make, at each iteration, a decentralized decision on which resources to utilize. We investigate the following question: given a model of how individual players update their strategies, does the resulting dynamics of strategy profiles converge to the set of Nash equilibria of the one-shot game? We consider in particular a model in which players update their strategies using algorithms with sublinear discounted regret. We show that the resulting sequence of strategy profiles converges to the set of Nash equilibria in the sense of Cesàro means. However, strong convergence is not guaranteed in general. We show that strong convergence can be guaranteed for a class of algorithms with a vanishing upper bound on discounted regret, and which satisfy an additional condition. We call such algorithms AREP algorithms, for Approximate REPlicator, as they can be interpreted as a discrete-time approximation of the replicator equation, which models the continuous-time evolution of population strategies, and which is known to converge for the class of congestion games. In particular, we show that the discounted Hedge algorithm belongs to the AREP class, which guarantees its strong convergence.

연구 동기 및 목표

• 반복적 혼잡 게임에서 온라인 학습 동역학이 나시 균형으로 수렴하는지 조사한다.
• 전략 수열의 수렴을 보장하는 할인 불만족도의 역할을 분석한다.
• 강력한 수렴(단지 Cesàro 평균 수렴이 아닌)이 발생하는 조건을 규명한다.
• AREP(근사 복제) 알고리즘 클래스를 도입하고, 연속 시간 복제 방정정식의 이산 시간 근사로 공식화한다.
• 혼잡 게임에서 헤지 및 복제 동역학과 같은 특정 학습 알고리즘에 대한 수렴 보장을 수립한다.

제안 방법

• 플레이어가 할인 불만족도를 갖는 온라인 학습 알고리즘을 사용하여 전략을 갱신하는 반복 혼잡 게임을 모델링한다.
• 소멸하는 할인 요소 시퀀스 $(\gamma_\tau)$ 를 사용하여 할인 불만족도를 정의하며, 최근 손실을 과거 손실보다 더 중시한다.
• 할인 불만족도에 대한 소멸하는 상한과 추가적인 정규성 조건을 만족하는 AREP(근사 복제) 알고리즘 클래스를 도입한다.
• 수렴 분석을 위해 수렴 함수로 Rosenthal 잠재함수 $V$ 를 사용한다.
• Cesàro 평균 수렴을 적용하여 하위선형 할인 불만족도가 평균 전략 수열이 나시 균형 집합으로 수렴함을 보인다.
• 동역학이 AREP 이고 하위선형 할인 불만족도를 갖는다면 실제 전략 수열 $\mu^{(\tau)}$ 의 강력한 수렴을 증명한다.

실험 결과

연구 질문

• RQ1 반복 혼잡 게임에서 온라인 학습 동역학이 나시 균형으로 수렴하는 조건은 무엇인가?
• RQ2 전략 프로파일의 강력한 수렴을 보장할 수 있는가, 아니면 단지 Cesàro 평균 수렴만 가능한가?
• RQ3 혼잡 게임에서 나시 균형으로의 수렴을 보장하기 위해 학습 알고리즘이 만족해야 할 조건은 무엇인가?
• RQ4 할인 헤지 알고리즘은 혼잡 게임에서 수렴 성능 측면에서 어떻게 작용하는가?
• RQ5 연속 시간 복제 동역학은 이산 시간에서 효과적으로 근사될 수 있는가, 그리고 이를 통해 수렴을 보장할 수 있는가?

주요 결과

• 플레이어가 하위선형 할인 불만족도를 갖는 알고리즘을 사용할 경우, 인구 전략의 Cesàro 평균 수열이 나시 균형 집합으로 수렴한다.
• 일반적으로 하위선형 할인 불만족도 조건 하에서는 실제 전략 수열 $\mu^{(\tau)}$ 의 강력한 수렴이 보장되지 않는다.
• 하위선형 할인 불만족도와 추가적인 정규성 조건을 만족하는 AREP 알고리즘 클래스는 나시 균형으로의 강력한 수렴을 보장한다.
• 할인 헤지 알고리즘은 AREP 클래스에 속하며, 따라서 나시 균형 집합으로의 강력한 수렴을 보장한다.
• 학습률이 가정 2를 만족하고 $\gamma_\tau \leq 1/2$ 를 만족하는 복제 동역학(REP) 역시 나시 균형으로의 강력한 수렴을 보장한다.
• 시뮬레이션 결과는 할인 헤지 알고리즘과 REP 동역학 모두 나시 균형으로 수렴함을 확인하며, 감소하는 학습률이 진동을 줄이고 수렴을 가능하게 한다.