[논문 리뷰] Learning Equilibria of Games via Payoff Queries

John Fearnley, Martin Gairing외 2명|arXiv (Cornell University)|2013. 02. 13.

Game Theory and Applications참고 문헌 37인용 수 6

한 줄 요약

이 논문은 특정 전략 프로파일에 대한 지ay를 요청하는 지ay 질의를 사용하여 게임 내 나시 균형을 찾는 계산 모델을 제안한다. 이는 이분행렬, 그래픽, 대칭 네트워크 혼잡도 게임에서 정확한 및 근사 균형에 대한 지량 복잡도 한계를 설정하며, 특히 방향 비순환 네트워크와 병렬 연결 혼잡도 게임에서, 특정한 구조를 가진 게임에서는 균형을 부분선형 수준 이하의 지량 수로 학습할 수 있음을 보여준다.

ABSTRACT

A recent body of experimental literature has studied empirical game-theoretical analysis, in which we have partial knowledge of a game, consisting of observations of a subset of the pure-strategy profiles and their associated payoffs to players. The aim is to find an exact or approximate Nash equilibrium of the game, based on these observations. It is usually assumed that the strategy profiles may be chosen in an on-line manner by the algorithm. We study a corresponding computational learning model, and the query complexity of learning equilibria for various classes of games. We give basic results for bimatrix and graphical games. Our focus is on symmetric network congestion games. For directed acyclic networks, we can learn the cost functions (and hence compute an equilibrium) while querying just a small fraction of pure-strategy profiles. For the special case of parallel links, we have the stronger result that an equilibrium can be identified while only learning a small fraction of the cost values.

연구 동기 및 목표

• 지불금을 요청하는 방식으로만 균형을 학습하는 계산 모델을 체계화하여, 알고리즘이 전략 프로파일을 제안함으로써 지불금을 학습하는 방식을 정의한다.
• 정확한 및 근사 나시 균형을 계산하기 위해 필요한 지량 수인 지량 복잡도를 분석한다.
• 특히 짧은 표현 방식을 가진 게임에서, 전체 조합을 전수 조사하는 것보다 훨씬 적은 지량 수로 균형을 찾을 수 있는지 규명한다.
• 지불금 질의 알고리즘의 이론적 한계를 탐색하며, 최적 반응 또는 노이즈 있는 지불금 질의와 같은 다른 질의 모델과 비교한다.
• 특히 방향 비순환 그래프(DAGs)와 병렬 연결에서 대칭 네트워크 혼잡도 게임에서 부분선형 지량 복잡도로 균형을 학습할 수 있는 조건을 규명한다.

제안 방법

• 알고리즘이 순수 전략 프로파일을 선택하고, 모든 플레이어의 해당 지불금을 수신하는 지불금 질의 모델을 제안한다.
• 이분행렬 게임에 대해 정확한 및 근사 균형을 계산하기 위해 필요한 지불금 질의 수에 상한과 하한을 설정한다.
• 방향 비순환 네트워크(DAGs)에서의 대칭 네트워크 혼잡도 게임에 대해, 비용 함수와 균형을 학습하기 위해 순수 전략 프로파일의 소수의 일부만으로도 충분하다고 보여준다.
• 병렬 연결 혼잡도 게임에 대해, 게임의 구조적 단순성 덕분에 비용 값의 소수의 일부만 학습해도 균형을 식별할 수 있음을 증명한다.
• 정상 질의(총 부하 = n)와 저부하 질의(총 부하 < n)의 두 가지 유형의 질의를 도입하며, 정상 질의는 표준 지불금 질의를 모델링한다.
• 조합론적 및 정보 이론적 기법을 사용하여, 특히 고정된 ε에 대해 근사 균형에 대한 지량 복잡도 하한을 유도한다.

실험 결과

연구 질문

• RQ1 이분행렬 게임과 그래픽 게임에서 정확한 나시 균형을 계산하기 위해 필요한 최소 지불금 질의 수는 얼마인가?
• RQ2 ε가 상수(예: ε < 1/2)일 때, 이분행렬 게임에서 ε-나시 균형을 부분선형 지량 복잡도로 계산할 수 있는가?
• RQ3 DAG 및 병렬 연결에서 대칭 네트워크 혼잡도 게임에서 정확한 균형을 학습하는 데 필요한 지량 복잡도는 얼마인가?
• RQ4 혼잡도 게임에서 플레이어 수(n)와 전략 수(m)에 따라 지량 복잡도는 어떻게 변화하는가?
• RQ5 최적 반응 또는 노이즈 있는 지불금 질의가 지불금 질의보다 지량 복잡도 측면에서 더 강력한 게임 클래스는 존재하는가?

주요 결과

• DAG에서의 대칭 네트워크 혼잡도 게임에서는 비용 함수—즉, 균형—을 순수 전략 프로파일의 소수의 일부만으로도 학습할 수 있다.
• 특히 병렬 연결의 경우, 비용 값의 소수의 일부만 학습해도 균형을 식별할 수 있으며, 이는 강력한 부분선형 지량 복잡도를 보여준다.
• 이분행렬 게임에서, ε가 k에 의존할 경우 지불금 질의 복잡도에 대해 초선형 하한을 확립하며, (1−1/i)-나시 균형에 대해 k−i+1에서 2k−i+1 사이의 지량 복잡도 격차를 규명한다.
• 정수 설정에서 ε < 1/2인 상수 ε에 대해 이분행렬 게임의 근사 균형 지량 복잡도는 여전히 열려있다.
• m개의 링크와 n명의 플레이어를 가진 혼잡도 게임에서 지량 복잡도의 상한은 O(log(n)·log²(m)/log log(m) + m)이며, 이는 Ω(log n + m) 하한과 다항로그 단위 내에 있다.
• 혼잡도 게임에서 상한과 하한 간 격차를 메우기 위해 n과 m에 모두 의존하는 단일 하한 구성이 필요하다는 것을 밝혀냈다.