[논문 리뷰] Graphical Models for Game Theory

Michael Kearns, Michael L. Littman외 1명|arXiv (Cornell University)|2013. 01. 10.

Game Theory and Applications참고 문헌 5인용 수 563

한 줄 요약

이 논문은 국소적 상호작용을 표현하기 위해 무방향 그래프를 사용하는 다중 플레이어 게임을 위한 그래픽 모델을 제안한다. 각 플레이어의 보상은 오직 자신의 행동과 이웃의 행동에 의존한다. 저자들은 게임 그래프가 트리일 경우, 나슈 균형을 다항 시간 내에 계산할 수 있는 알고리즘을 제시한다. 이 알고리즘은 메시지 전달 방식을 사용하며, 근사 균형을 계산하는 버전과 정확한 계산을 위한 버전의 두 가지 변형이 있다. 정확한 계산은 더 약한 복잡도 상한을 수반한다. 이 방법은 분산 계산을 가능하게 하며, 전역 최적성 성질을 가진 균형을 찾는 데도 확장 가능하다.

ABSTRACT

In this work, we introduce graphical modelsfor multi-player game theory, and give powerful algorithms for computing their Nash equilibria in certain cases. An n-player game is given by an undirected graph on n nodes and a set of n local matrices. The interpretation is that the payoff to player i is determined entirely by the actions of player i and his neighbors in the graph, and thus the payoff matrix to player i is indexed only by these players. We thus view the global n-player game as being composed of interacting local games, each involving many fewer players. Each player's action may have global impact, but it occurs through the propagation of local influences.Our main technical result is an efficient algorithm for computing Nash equilibria when the underlying graph is a tree (or can be turned into a tree with few node mergings). The algorithm runs in time polynomial in the size of the representation (the graph and theassociated local game matrices), and comes in two related but distinct flavors. The first version involves an approximation step, and computes a representation of all approximate Nash equilibria (of which there may be an exponential number in general). The second version allows the exact computation of Nash equilibria at the expense of weakened complexity bounds. The algorithm requires only local message-passing between nodes (and thus can be implemented by the players themselves in a distributed manner). Despite an analogy to inference in Bayes nets that we develop, the analysis of our algorithm is more involved than that for the polytree algorithm in, owing partially to the fact that we must either compute, or select from, an exponential number of potential solutions. We discuss a number of extensions, such as the computation of equilibria with desirable global properties (e.g. maximizing global return), and directions for further research.

연구 동기 및 목표

• 보상이 오직 국소적 플레이어 상호작용에 의존하는 그래픽 구조를 사용해 다중 플레이어 게임을 모델링한다.
• 국소적 의존성만을 갖는 대규모 게임에서 나슈 균형을 찾는 계산적 과제를 다룬다.
• 게임의 상호작용 그래프가 트리일 경우, 효율적이고 분산된 알고리즘을 개발하여 균형을 계산한다.
• 사회적 복지와 같은 전역 목표를 최적화하는 균형을 찾는 데도 이 프레임워크를 확장한다.
• 확률적 추론에서 흔히 사용되는 그래픽 모델을 비협력 게임 이론에 적용하기 위한 이론적 기반을 제공한다.

제안 방법

• n명의 플레이어 게임을 n개의 노드를 가진 무방향 그래프로 표현하며, 각 노드는 플레이어에 대응하고 간선은 국소적 상호작용을 나타낸다.
• 각 플레이어의 행동과 이웃 플레이어의 행동에만 기반한 국소적 보상 행렬을 정의한다.
• 동적 프rogram밍 유사 메시지 전달을 통해 노드 간의 효율적 계산을 가능하게 하기 위해 트리 구조의 그래프를 사용한다.
• 두 가지 알고리즘 변형을 구현한다: 하나는 모든 근사 나슈 균형의 압축 표현을 계산하고, 다른 하나는 복잡도 상한이 느슨한 정확한 균형을 계산한다.
• 플레이어들이 오직 국소적 통신과 계산만을 사용해 균형을 계산할 수 있도록 알고리즘을 분산형으로 설계한다.
• 베이지안 네트워크 추론과의 유사성을 활용하지만, 게임 이론적 환경에서의 지수적 수의 잠재적 균형을 다룰 수 있도록 이를 적응시킨다.

실험 결과

연구 질문

• RQ1 국소적 의존성이 있는 다중 플레이어 비협력 게임에서 그래픽 모델을 효과적으로 적응시켜 균형을 표현하고 계산할 수 있는가?
• RQ2 상호작용 그래프가 트리 구조인 게임에서 나슈 균형을 다항 시간 내에 계산할 수 있는 알고리즘이 존재하는가?
• RQ3 국소적 메시지 전달을 통해 전역 조율 없이 분산되고 확장 가능한 방식으로 균형을 계산할 수 있는가?
• RQ4 사회적 복지와 같은 전역 목표를 최적화하는 균형을 찾는 데 이 프레임워크를 확장할 수 있는가?
• RQ5 그래픽 게임의 균형 계산에서 근사 정확도와 계산 복잡도 사이의 상충 관계는 무엇인가?

주요 결과

• 제안된 알고리즘은 그래픽 표현(그래프 및 국소 보상 행렬 포함)의 크기와 다항식 시간 내에 모든 근사 나슈 균형을 계산한다.
• 정확한 계산을 위한 변형이 존재하지만, 근사 버전에 비해 더 약한 복잡도 상한을 수반한다.
• 알고리즘은 완전히 분산되어 있으며, 인접한 플레이어 간의 국소적 통신만 요구하므로 탈중앙화 환경에 적합하다.
• 메시지 전달 프레임워크에 전역 목표를 통합함으로써, 사회적 복지와 같은 전역 보상 최대화 균형을 찾는 데에도 일반화할 수 있다.
• 해결 공간의 구조적 차이에도 불구하고, 확률적 추론에서의 그래픽 모델과 게임 이론적 균형 계산 간의 공식적 연결을 수립한다.
• 메시지 전달을 통한 표현으로, 나슈 균형의 수가 지수적으로 많아도 효율적인 계산이 가능하다.