[논문 리뷰] Learning to Correlate in Multi-Player General-Sum Sequential Games

Andrea Celli, Alberto Marchesi외 2명|arXiv (Cornell University)|2019. 10. 14.

Experimental Behavioral Economics Studies인용 수 20

한 줄 요약

이 논문은 다인자 일반합계 순차 게임에서 코arse correlated 균형(CCE)을 계산하기 위한 새로운 회귀 최소화 알고리즘인 CFR-Jr를 제안한다. 정기적으로 연합 전략 재구성 기법을 통합함으로써, CFR-Jr는 CCE에 하향선형 회귀 수렴을 달성한다—기존의 CFR-S 및 최신 기술 수준의 알고리즘보다 이론적으로도 실험적으로도 빠르며, 계산 효율성과 확장성도 유지한다.

ABSTRACT

In the context of multi-player, general-sum games, there is an increasing interest in solution concepts modeling some form of communication among players, since they can lead to socially better outcomes with respect to Nash equilibria, and may be reached through learning dynamics in a decentralized fashion. In this paper, we focus on coarse correlated equilibria (CCEs) in sequential games. First, we complete the picture on the complexity of finding social-welfare-maximizing CCEs by showing that the problem is not in Poly-APX unless P = NP. Furthermore, simple arguments show that CFR - working with behavioral strategies - may not converge to a CCE. However, we devise a simple variant (CFR-S) which provably converges to the set of CCEs, but may be empirically inefficient. Thus, we design a variant of the CFR algorithm (called CFR-Jr) which approaches the set of CCEs with a regret bound sub-linear in the size of the game, and is shown to be dramatically faster than CFR-S and the state-of-the-art algorithms to compute CCEs.

연구 동기 및 목표

• 다인자 일반합계 순차 게임에서 코어스드 컬리브리엄(CCE)을 효율적이고 분산형으로 계산할 수 있는 알고리즘이 부족한 문제를 해결한다.
• 기본적인 CFR 알고리즘의 한계를 극복한다. 일반합계 설정에서 행동 전략 균형으로 수렴할 뿐 아니라 CCE로 수렴하지는 않기 때문이다.
• 게임 트리의 크기에 대해 하향선형 회귀를 보장하는 학습 알고리즘을 설계하여 CCE에 증명 가능하게 수렴하도록 한다.
• 알고리즘 내에서 연합 분포 재구성 빈도를 설정 가능하게 함으로써 계산 효율성과 해의 품질을 균형 잡는다.
• 실험적으로 CFR-Jr가 CFR-S 및 기존 최신 기술 수준의 알고리즘보다 수렴 속도와 런타임에서 뛰어나다는 것을 입증한다.

제안 방법

• 매 반복마다 정규형 전략을 재구성함으로써 CCE 집합으로 증명 가능하게 수렴하는 Counterfactual Regret Minimization(CFR)의 변종인 CFR-S를 제안한다.
• CFR-S의 최적화된 변종인 CFR-Jr를 도입하여, 정기적인 간격(매 k회 반복마다)으로 연합 분포 재구성을 수행함으로써 계산 오버헤드를 줄인다.
• 연합 전략 재구성 절차를 사용해 행동 전략을 정규형 전략으로 변환함으로써 CCE로의 수렴을 보장한다.
• 정보 집합을 기반으로 회귀 최소화 동역학을 적용하여 국소적 회귀 최소화를 유지하면서, 정규형 전략의 곱을 통해 전역적 CCE 수렴을 가능하게 한다.
• 가중 평균 기법을 구현하여 평균 연합 전략을 계산함으로써, 하향선형 회귀를 보장하는 CCE로의 수렴을 확보한다.
• CFR-Jr-k를 도입하여 재구성 빈도, 런타임, 연합 전략의 지지 집합 크기 간의 트레이드오프를 설정 가능한 변종으로 제공한다.

실험 결과

연구 질문

• RQ1 다인자 일반합계 순차 게임에서 코어스드 컬리브리엄(CCE)으로 증명 가능하게 수렴하는 회귀 최소화 알고리즘을 설계할 수 있는가?
• RQ2 세 명 이상의 플레이어가 있는 순차 게임에서 사회적 복지 최대화 CCE를 찾는 데 필요한 계산 복잡도는 얼마인가?
• RQ3 CFR 스타일 알고리즘에 연합 전략 재구성 기법을 효율적으로 통합하여 CCE 수렴을 보장하면서 과도한 계산 비용을 피할 수 있는가?
• RQ4 CCE 계산 알고리즘에서 재구성 빈도, 수렴 속도, 저장 요구량 간의 트레이드오프는 무엇인가?
• RQ5 수정된 CFR 알고리즘이 실제로 CFR-S 및 최신 기술 수준의 CCE 계산 방법보다 더 빠른 수렴을 달성할 수 있는가?

주요 결과

• 세 명 이상의 플레이어가 있는 순차 게임에서 사회적 복지 최대화 CCE를 계산하는 문제는 P = NP가 아닐 경우 Poly-APX에 속하지 않으며, 강력한 근사 불가능성 결과를 도출한다.
• CFR-S는 이론적으로 CCE 집합으로 수렴함을 증명했지만, 매 반복마다 완전한 재구성을 수행함으로써 실험적으로는 비효율적이다.
• CFR-Jr는 게임 트리의 크기에 대해 하향선형 회귀를 달성하며, 실험 결과 CFR-S 및 기존 최신 기술 수준의 알고리즘보다 수렴 속도가 뚜렷이 빠르다.
• 실험 결과, 더 높은 재구성 빈도(예: 매 1~5회 반복마다)를 적용한 CFR-Jr가 런타임을 줄이면서도 강력한 수렴 성능 유지를 보이며, 낮은 빈도는 저에프실론 해에 더 빠르게 수렴함을 보였다.
• 평균 연합 전략의 지지 집합 크기는 재구성 빈도에 비례하여 증가하며, 낮은 k 값은 전략 업데이트 빈도가 높아서 최대 10배의 저장 공간이 더 필요하다.
• Kuhn3-6 및 Kuhn3-10 게임 인스턴스에서, CFR-Jr는 반복 횟수와 월클럭 타임 모두 기준선 방법보다 더 빠른 수렴을 달성하여 실용적 우수성을 입증했다.