[논문 리뷰] Solving Combinatorial Games using Products, Projections and Lexicographically Optimal Bases

Swati Gupta, Michel X. Goemans외 1명|arXiv (Cornell University)|2016. 03. 01.

Advanced Bandit Algorithms Research참고 문헌 54인용 수 3

한 줄 요약

이 논문은 렉시코그래픽 최적 기저와 일반화된 카운팅 오라클을 사용하여 이인자 제로섬 조합 게임에서 대칭 내쉬 균형을 효율적으로 계산하는 알고리즘을 제시한다. 다면체 기저 다면체 위에 대한 브레그만 사영을 계산하는 새로운 원시 스타일 알고리즘과, 근사 카운팅 오라클을 통한 다중 가중치 업데이트 알고리즘의 다항시간 시뮬레이션을 제안하여, 스패닝 트리나 매칭과 같이 전이 전략 수가 지수적으로 많은 게임의 효율적 해를 가능하게 한다.

ABSTRACT

In order to find Nash-equilibria for two-player zero-sum games where each player plays combinatorial objects like spanning trees, matchings etc, we consider two online learning algorithms: the online mirror descent (OMD) algorithm and the multiplicative weights update (MWU) algorithm. The OMD algorithm requires the computation of a certain Bregman projection, that has closed form solutions for simple convex sets like the Euclidean ball or the simplex. However, for general polyhedra one often needs to exploit the general machinery of convex optimization. We give a novel primal-style algorithm for computing Bregman projections on the base polytopes of polymatroids. Next, in the case of the MWU algorithm, although it scales logarithmically in the number of pure strategies or experts $N$ in terms of regret, the algorithm takes time polynomial in $N$; this especially becomes a problem when learning combinatorial objects. We give a general recipe to simulate the multiplicative weights update algorithm in time polynomial in their natural dimension. This is useful whenever there exists a polynomial time generalized counting oracle (even if approximate) over these objects. Finally, using the combinatorial structure of symmetric Nash-equilibria (SNE) when both players play bases of matroids, we show that these can be found with a single projection or convex minimization (without using online learning).

연구 동기 및 목표

• 스패닝 트리나 매칭과 같이 순수 전략 수가 지수적으로 많은 두 명의 플레이어가 참여하는 제로섬 게임에서 내쉬 균형을 찾는 계산적 과제를 해결하기 위해.
• 전략 다면체가 조합적 대상에 의해 정의되는 게임에서, 특히 온라인 미러 디센트와 다중 가중치 업데이트 알고리즘을 포함한 효율적인 온라인 학습 알고리즘을 개발하기 위해.
• 레크시코그래픽 최적 기저를 활용하여 매트로이드 기반 게임에서 대칭 내쉬 균형을 다항시간에 계산할 수 있도록 하기 위해.
• 조합적 구조와 일반화된 근사 카운팅 오라클을 이용해 학습 알고리즘의 계산 복잡도를 낮추기 위해.
• 대칭 내쉬 균형과 매트로이드 기저 다면체의 렉시코그래픽 최적 기저 사이의 연결 고리를 설정하여 정확하고 효율적인 계산을 가능하게 하기 위해.

제안 방법

• 다면체 기저 다면체 위에 대한 브레그만 사영을 계산하는 새로운 원시 스타일 알고리즘을 제안하여, 조합 게임에서의 효율적 온라인 미러 디센트를 가능하게 한다.
• 일반화된 근사 카운팅 오라클이 존재할 경우, 전략 공간의 자연적 차원에 대해 다항시간 내에 다중 가중치 업데이트(MWU) 알고리즘을 시뮬레이션할 수 있는 일반적 프레임워크를 도입한다.
• 타원체 방법에 의한 최적화와 분리의 등가성을 활용하여, 압축 게임에서 전략 다면체 위의 최소-최대 문제를 해결한다.
• 하위모듈라 함수 이론에서 유래한 렉시코그래픽 최적 기저 개념을 활용하여, 매트로이드 게임에서 대칭 내쉬 균형을 특성화하고 계산한다.
• Inc-fix 알고리즘과 Fujishige(1980)의 결과를 활용하여, 손실 행렬에서 유도된 가중치에 대해 렉시코그래픽 최적 기저를 효율적으로 계산한다.
• 매트로이드 게임에서 대각 손실 행렬을 가진 대칭 내쉬 균형은 역 손실 가중치 하에 렉시코그래픽 최적 기저와 정확히 일치함을 증명한다.

실험 결과

연구 질문

• RQ1 일반적인 볼록 최적화에 의존하지 않고, 다면체 기저 다면체 위에 대한 브레그만 사영을 효율적으로 계산할 수 있는가?
• RQ2 순수 전략 수가 지수적으로 많은 0/1 다면체에서 다중 가중치 업데이트 알고리즘을 다항시간 내에 시뮬레이션할 수 있는가?
• RQ3 매트로이드 기반 조합 게임에서 대칭 내쉬 균형이 존재하고 유일해지는 조건은 무엇인가?
• RQ4 매트로이드 게임에서의 대칭 내쉬 균형은 기저 다면체의 렉시코그래픽 최적 기저와 어떻게 관련이 있는가?
• RQ5 손실 행렬의 구조와 매트로이드의 랭크 함수를 이용해 대칭 균형을 효율적으로 특성화하고 계산할 수 있는가?

주요 결과

• 다면체 기저 다면체 위에 대한 브레그만 사영을 계산하는 새로운 원시 스타일 알고리즘은 조합 게임에서의 효율적 온라인 미러 디센트를 가능하게 한다.
• 일반화된 근사 카운팅 오라클을 사용하면, 전략 공간의 자연적 차원에 대해 다중 가중치 업데이트 알고리즘을 다항시간 내에 시뮬레이션할 수 있다.
• 대각 손실 행렬을 가진 매트로이드 게임에서의 대칭 내쉬 균형은 $ w(e) = 1/L_{e,e} $ 가중치 하에 렉시코그래픽 최적 기저와 정확히 일치하며, 이는 효율적 계산을 가능하게 한다.
• 매트로이드 게임에서 대각 손실 행렬 $ L $을 가질 경우, $ L $ 이 양의 정부호이면 대칭 내쉬 균형은 유일하다.
• 손실 행렬이 항등행렬일 경우, 매트로이드 게임에서 대칭 내쉬 균형이 존재하는 것은 유 Basic 그래프의 모든 블록이 균일하게 조밀할 때에만 성립한다.
• 임의의 양수 점 $ x $ 가 매트로이드의 기저 다면체에 속해 있을 경우, $ L_{e,e} = 1/x_e $ 로 설정하면 $ (x,x) $ 가 대칭 내쉬 균형이 되는 매트로이드 게임을 구성할 수 있다.