[논문 리뷰] Computing Approximate Nash Equilibria in Polymatrix Games

Argyrios Deligkas, John Fearnley외 2명|arXiv (Cornell University)|2014. 09. 12.

Game Theory and Applications참고 문헌 17인용 수 14

한 줄 요약

이 논문은 임의의 δ > 0에 대해 다각형 게임에서 (0.5 + δ)-내쉬 균형을 다항시간에 계산하는 알고리즘을 제시한다. 이 알고리즘은 최대 회피 손실에 대한 경사 하강법을 사용하며, Tsaknakis-Spirakis 방법을 다자 게임 환경으로 확장하여 전략 수에 관계없이 일정한 근사 보장을 달성한다. 이 방법은 이중 게임의 베이지안 게임에도 적용 가능하다.

ABSTRACT

In an $ε$-Nash equilibrium, a player can gain at most $ε$ by unilaterally changing his behaviour. For two-player (bimatrix) games with payoffs in $[0,1]$, the best-known$ε$ achievable in polynomial time is 0.3393. In general, for $n$-player games an $ε$-Nash equilibrium can be computed in polynomial time for an $ε$ that is an increasing function of $n$ but does not depend on the number of strategies of the players. For three-player and four-player games the corresponding values of $ε$ are 0.6022 and 0.7153, respectively. Polymatrix games are a restriction of general $n$-player games where a player's payoff is the sum of payoffs from a number of bimatrix games. There exists a very small but constant $ε$ such that computing an $ε$-Nash equilibrium of a polymatrix game is \PPAD-hard. Our main result is that a $(0.5+δ)$-Nash equilibrium of an $n$-player polymatrix game can be computed in time polynomial in the input size and $\frac{1}δ$. Inspired by the algorithm of Tsaknakis and Spirakis, our algorithm uses gradient descent on the maximum regret of the players. We also show that this algorithm can be applied to efficiently find a $(0.5+δ)$-Nash equilibrium in a two-player Bayesian game.

연구 동기 및 목표

• 다각형 게임, 즉 요약된 표현 방식을 사용하는 n자 게임의 클래스에 대해 근사 내쉬 균형을 다항시간에 계산하는 알고리즘을 개발하는 것.
• 이중 게임의 Tsaknakis-Spirakis 알고리즘을 전략 수에 관계없이 일정한 근사 보장을 갖는 다자 다각형 게임으로 일반화하는 것.
• 임의의 δ > 0에 대해 (0.5 + δ)-내쉬 균형을 입력 크기와 1/δ에 대해 다항시간 내에 계산할 수 있음을 보이는 것.
• 이 방법을 이중 게임의 베이지안 게임으로 확장하여 그 광범위한 적용 가능성을 입증하는 것.
• n자 게임에서 근사 균형의 계산 난이도를 극복하기 위해 근사 요소가 유한한 다항시간 해법을 제공하는 것.

제안 방법

• 알고리즘은 모든 플레이어의 최대 회피 손실에 대해 경사 하강법을 사용하여 전략 프로파일을 반복적으로 향상시킨다.
• 전략 프로파일을 유지하면서, 최고 응답 수익과 현재 수익의 차이로 정의되는 최대 회피 손실을 최소화하도록 업데이트한다.
• 이 방법은 이중 게임에 대한 Tsaknakis-Spirakis 알고리즘을 기반으로 하되, 다각형 게임의 합-이중행렬 구조에 맞게 적응시켰다.
• 업데이트 규칙은 최대 회피 손실이 시간이 지남에 따라 감소하도록 보장하며, 결과적으로 (0.5 + δ)-내쉬 균형으로 수렴한다.
• 입력 크기와 1/δ에 대해 다항시간 내에 수렴 보장이 있으며, δ는 근사 정밀도를 제어한다.
• 베이지안 게임으로의 적용은 다각형 게임으로의 변환을 통해 이루어지며, 균형 성질을 유지한다.

실험 결과

연구 질문

• RQ1 다각형 게임에서 일정한 요인 근사 내쉬 균형을 다항시간에 계산할 수 있는가?
• RQ2 Tsaknakis-Spirakis 알고리즘이 n자 다각형 게임으로 일반화되어 일정한 근사 보장을 갖는가?
• RQ3 다각형 게임에서 다항시간 내에 달성 가능한 최선의 근사 요인은 무엇이며, 이를 0.5를 초월해 향상시킬 수 있는가?
• RQ4 회피 손실 기반 경사 하강법 접근 방식을 정보가 불완전한 베이지안 게임으로 확장할 수 있는가?
• RQ5 다각형 게임에서 0.5 + δ 보다 더 좋은 근사치를 달성하는 다항시간 알고리즘이 존재하는가?

주요 결과

• 임의의 δ > 0에 대해 n자 다각형 게임의 (0.5 + δ)-내쉬 균형은 입력 크기와 1/δ에 대해 다항시간 내에 계산 가능하다.
• 알고리즘은 플레이어 수나 전략 수에 관계없이 일정한 근사 보장 0.5 + δ를 달성한다.
• 이 방법은 이중 게임의 베이지안 게임에도 적용 가능하며, 다항시간 내에 (0.5 + δ)-베이지안 내쉬 균형을 도출한다.
• 접근 방식은 플레이어 간 최대 회피 손실을 최소화하는 경사 하강법에 기반하여 근사 균형으로 수렴함을 보장한다.
• 기존의 n자 게임에 대한 근사 한계를 향상시켰으며, n이 증가함에 따라 근사치가 1에 수렴하는 기존 결과들과는 달리 비트리비얼한 일정한 근사 보장을 제공한다.
• PPAD-난이도가 있는 임의의 작은 ε에 대해 근사 균형의 계산이 가능하다는 점을 입증함으로써, 다각형 게임에서 다항시간 근사 균형 계산의 가능성을 보여준다.