[논문 리뷰] A Sampling-Based Approach to Computing Equilibria in Succinct Extensive-Form Games

Miroslav Dudı́k, Geoffrey J. Gordon|arXiv (Cornell University)|2012. 05. 09.

Game Theory and Applications참고 문헌 21인용 수 16

한 줄 요약

이 논문은 구조적 가정이 강하지 않은 상황에서도 효율적으로 균형을 찾을 수 있도록, 다중 플레이어 게임의 단순화된 광범위형 게임에서 광범위형 조화된 균형을 계산하기 위한 샘플링 기반 알고리즘을 제안한다. 이 알고리즘은 승수 가중치 업데이트와 마르코프 체인 몽테카를로 샘플링을 활용하여, 강력한 구조적 가정 없이도 균형을 효율적으로 계산한다. 사회적 복지와 같은 균형 성질을 제어할 수 있으며 수렴 보장을 제공하여 기존 방법에 비해 확장성과 실용성 면에서 더 뛰어나다.

ABSTRACT

A central task of artificial intelligence is the design of artificial agents that act towards specified goals in partially observed environments. Since such environments frequently include interaction over time with other agents with their own goals, reasoning about such interaction relies on sequential game-theoretic models such as extensive-form games or some of their succinct representations such as multi-agent influence diagrams. The current algorithms for calculating equilibria either work with inefficient representations, possibly doubly exponential inthe number of time steps, or place strong assumptions on the game structure. In this paper,we propose a sampling-based approach, which calculates extensive-form correlated equilibria with small representations without placing such strong assumptions. Thus, it is practical in situations where the previous approaches would fail. In addition, our algorithm allows control over characteristics of the target equilibrium, e.g., we can ask for an equilibrium with high social welfare. Our approach is based on a multiplicativeweight update algorithm analogous to AdaBoost, and Markov chain Monte Carlo sampling. We prove convergence guarantees and explore the utility of our approach on several moderately sized multi-player games.

연구 동기 및 목표

• 대규모 다중 플레이어 광범위형 게임의 균형을 계산하는 데 도전하는 것.
• 기존 알고리즘의 효율성 떨어지는 표현 방식이나 강력한 구조적 가정에 의존하는 한계를 극복하는 것.
• 이전 방법이 계산적으로 비가능한 경우에 실패하는 게임에서 광범위형 조화된 균형을 계산하기 위한 실용적이고 확장 가능한 접근법을 개발하는 것.
• 계산 과정에서 사회적 복지와 같은 균형 특성 제어를 가능하게 하는 것.
• 제안된 샘플링 기반 알고리즘의 이론적 수렴 보장을 제공하는 것.

제안 방법

• 이 방법은 AdaBoost를 영감으로 삼은 승수 가중치 업데이트 알고리즘을 사용하여, 샘플된 게임 결과를 바탕으로 전략을 반복적으로 개선한다.
• 게임 트리의 효율적 탐색과 기대 수익의 추정을 위해 마르코프 체인 몽테카를로(Markov chain Monte Carlo, MCMC) 샘플링을 사용한다.
• 모든 정보 집합이나 행동 시퀀스를 명시적으로 나열하지 않고도, 게임의 압축 표현을 기반으로 작동한다.
• 반복적인 샘플링과 가중치 조정을 통해 연합 행동 프로파일에 대한 분포를 유지하고 업데이트함으로써 조화된 균형을 계산한다.
• 업데이트 규칙에 유틸리티 기반 가중치를 통합함으로써 사용자 정의 목표(예: 사회적 복지 최대화)를 구현할 수 있다.
• 샘플링 프레임워크 하에서 승수 가중치 업데이트 과정의 이론적 분석을 통해 수렴을 증명한다.

실험 결과

연구 질문

• RQ1 강력한 구조적 가정이 필요 없이도, 샘플링 기반 방법이 단순화된 광범위형 게임에서 균형을 효율적으로 계산할 수 있는가?
• RQ2 복잡한 정보 구조를 가진 다중 플레이어 게임에 대해 균형 계산을 어떻게 확장 가능하게 할 수 있는가?
• RQ3 알고리즘이 사회적 복지나 공정성과 같은 균형 성질을 제어하는 데 확장될 수 있는가?
• RQ4 샘플링 기반 승수 가중치 업데이트 과정에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ5 실제로 기존 균형 계산 기법과 비교했을 때, 이 방법은 실행 시간과 해의 품질 측면에서 어떻게 성능을 내는가?

주요 결과

• 제안된 알고리즘은 이전 방법이 계산 복잡성으로 인해 실패하는 중간 크기의 다중 플레이어 게임에서 광범위형 조화된 균형을 성공적으로 계산한다.
• 게임 표현이 단순화되어 있더라도 크기가 클 수 있으며, 이론적 보장 하에 균형 수렴을 달성한다.
• MCMC 샘플링과 승수 가중치 업데이트를 통합함으로써, 전체 상태 수를 전수 조사할 경우 발생하는 이중 지수적 팽창을 피한다.
• 업데이트 과정에 유틸리티 기반 가중치를 통합함으로써, 사회적 복지 최대화와 같은 균형 특성에 명시적인 제어를 가능하게 한다.
• 실험적 평가를 통해 몇 가지 벤치마크 게임에서 실용적인 성능을 입증하였으며, 전통적인 균형 계산 기법이 다룰 수 없는 범위까지 확장 가능성을 보였다.
• 균형의 표현을 작게 유지함으로써 실시간 또는 상호작용형 AI 응용 분야에 적합하다.