[논문 리뷰] An Empirical Study on Computing Equilibria in Polymatrix Games

Argyrios Deligkas, John Fearnley외 2명|arXiv (Cornell University)|2016. 02. 22.

Game Theory and Applications참고 문헌 44인용 수 8

한 줄 요약

이 논문은 다형 게임에서 정확한 내쉬 균형을 계산하는 데 사용되는 Lemke의 알고리즘과 근사 균형을 찾는 기울기 하강 기반 방법을 비교하는 경험적 연구를 제시한다. 연구 결과, Lemke의 알고리즘이 큰 게임에서 정확한 균형을 효율적으로 계산하는 반면, 하강 방법은 훨씬 더 큰 게임에 스케일링되며 항상 높은 품질의 근사 균형($\varepsilon \leq 0.002$)을 찾는다.

ABSTRACT

The Nash equilibrium is an important benchmark for behaviour in systems of strategic autonomous agents. Polymatrix games are a succinct and expressive representation of multiplayer games that model pairwise interactions between players. The empirical performance of algorithms to solve these games has received little attention, despite their wide-ranging applications. In this paper we carry out a comprehensive empirical study of two prominent algorithms for computing a sample equilibrium in these games, Lemke's algorithm that computes an exact equilibrium, and a gradient descent method that computes an approximate equilibrium. Our study covers games arising from a number of interesting applications. We find that Lemke's algorithm can compute exact equilibria in relatively large games in a reasonable amount of time. If we are willing to accept (high-quality) approximate equilibria, then we can deal with much larger games using the descent method. We also report on which games are most challenging for each of the algorithms.

연구 동기 및 목표

• 다형 게임에서 정확한 및 근사 균형 계산 알고리즘의 실용적 성능을 평가하기 위해.
• 각 알고리즘에 대해 가장 도전적인 게임 유형을 특정하기 위해.
• 실제 게임 응용에서 하강 방법이 찾는 근사 균형의 스케일링 능력과 품질을 평가하기 위해.
• 향후 다형 게임에서의 알고리즘 개발을 위한 오픈소스 테스트 세트를 제공하기 위해.
• 타이브레이킹 규칙과 게임 구조가 알고리즘 성능에 미치는 영향을 이해하기 위해.

제안 방법

• Lemke의 알고리즘은 다형 게임에서 유도된 선형 보완 문제(LCP)를 해결하여 정확한 내쉬 균형을 계산하기 위해 적용된다.
• 기울기 하강 유사 알고리즘이 사용되어 근사 균형을 계산하며, 플레이어의 전략이 이탈할 유혹을 줄이기 위해 반복적으로 업데이트된다.
• 하강 방법은 스텝 크기를 제어하기 위해 파라미터 $\delta$를 사용하며, 수렴성과 해의 품질 향상을 위해 선형 탐색을 포함한다.
• 연구는 경매, 베이지안 게임, 협력 게임 등을 포함한 12개의 게임 유형에서 213,000개의 게임 인스턴스로 구성된 포괄적인 라이브러리를 사용한다.
• 다양한 게임 유형에서 런타임과 근사 품질을 측정하였으며, 수렴 행동과 다양한 타이브레이킹 규칙 하에서의 성능에 대한 세부 분석을 수행하였다.
• 모든 구현 및 게임 생성기 코드는 재현성과 벤치마킹을 위해 http://polymatrix-games.github.io/ 에 오픈소스로 공개되었다.

실험 결과

연구 질문

• RQ1 다양한 다형 게임 유형에서 Lemke의 알고리즘과 기울기 하강 방법의 런타임과 해 품질 측면에서 성능는 어떻게 되는가?
• RQ2 경기 특화 기능—예를 들어 경매에서의 타이브레이킹 규칙—은 균형 계산의 난이도에 어떤 영향을 미치는가?
• RQ3 정확한 계산이 불가능한 대규모 다형 게임에서 기울기 하강 방법이 신뢰성 있게 높은 품질의 근사 균형($\varepsilon$-NE)을 찾을 수 있는가?
• RQ4 왜 기울기 하강 알고리즘의 선형 탐색 변형이 비선형 탐색 버전보다 속도와 해 품질 측면에서 뛰어나게 성능을 발휘하는가?
• RQ5 실제 게임 구조(예: 조합적 경매, 베이지안 블로토 게임 등)는 균형 찾기 알고리즘의 스케일링 능력과 성능에 어느 정도의 영향을 미치는가?

주요 결과

• Lemke의 알고리즘은 최대 3,000만 개의 지급을 가진 게임에서 정확한 균형을 계산하여 정확한 방법의 강력한 스케일링 능력을 입증한다.
• 파라미터 $\delta = 0.001$을 사용한 하강 방법은 거의 모든 테스트 케이스에서 $\varepsilon$-NE를 $\varepsilon \leq 0.002$로 찾으며, 높은 품질의 근사치를 보여준다.
• 하강 방법은 약 선형 시간 내에 실행되며, $\delta = 0.1$과 $\delta = 0.001$일 때 각각 결정계수 $R^2$ 값이 0.88과 0.96를 기록한다. 반면 Lemke의 알고리즘은 2차 스케일링을 보인다.
• 하강 알고리즘에 선형 탐색을 적용하면 속도와 해 품질 양면에서 크게 향상되며, 선형 탐색 버전이 비선형 탐색 버전보다 뛰어난 성능을 보인다.
• 2차 가격 경매에서는 Lemke의 알고리즘이 자주 순수 내쉬 균형을 찾으며, 무작위 타이브레이킹보다 결정론적 타이브레이킹을 사용할 경우 런타임이 크게 감소한다.
• 관찰된 최악의 근사 품질은 가중치가 부여된 협력 게임에서 $0.1065$-NE였으며, 이는 이론적 상한값인 $0.5$보다 훨씬 우수한 성능이다.