[논문 리뷰] Multilinear Formulations for Computing a Nash Equilibrium of Multi-Player Games

Fischer, Miriam, Gupte, Akshay|arXiv (Cornell University)|2023. 01. 01.

Stochastic Gradient Optimization Techniques인용 수 3

한 줄 요약

이 논문은 많은 플레이어와 행동을 가진 대규모 정규형 게임에서 나시 균형을 근사하기 위해 동작 기반의 경사 하강법인 ADIDAS를 소개한다. 이는 수렴하는 로그릿 균형으로 향하는 호모토피 경로를 추적함으로써 이루어지며, 적응형 샘플링과 편향 감소 기법을 사용하여 거대한 수익 텐서를 효율적으로 처리한다. 이를 통해 이전에 가능하지 않았던 7명의 플레이어와 21개의 행동을 가진 게임에서 스케일러블한 나시 균형 근사가 가능해졌다.

ABSTRACT

We present multilinear and mixed-integer multilinear programs to find a Nash equilibrium in multi-player noncooperative games. We compare the formulations to common algorithms in Gambit, and conclude that a multilinear feasibility program finds a Nash equilibrium faster than any of the methods we compare it to, including the quantal response equilibrium method, which is recommended for large games. Hence, the multilinear feasibility program is an alternative method to find a Nash equilibrium in multi-player games, and outperforms many common algorithms. The mixed-integer formulations are generalisations of known mixed-integer programs for two-player games, however unlike two-player games, these mixed-integer programs do not give better performance than existing algorithms.

연구 동기 및 목표

• 많은 플레이어와 행동을 가진 대규모 정규형 게임에서 나시 균형을 계산하는 데 있어 기존의 스케일링 한계를 해결하기 위해.
• 다중 플레이어 게임에서 거대한 수익 텐서를 저장하고 처리하는 데 있어 메모리 및 계산적 비현실성 문제를 해결하기 위해.
• 정확한 계산이 불가능한 상황에서도 유일한 나시 균형을 근사할 수 있는 실용적인 샘플 기반 방법을 제공하기 위해.
• 스토케스틱 근사에서 평균 이탈 유인 목표 함수의 경사 편향을 적응형 샘플링과 엔트로피 정규화를 통해 효과적으로 줄이기 위해.
• Diplomacy와 같이 전체 게임 열거가 비현실적인 복잡한 환경에서 다중 에이전트 정책의 스케일러블 평가를 가능하게 하기 위해.

제안 방법

• ADIDAS는 엔트로피를 점차 줄이는 정규화된 게임에서 출발하여 한계 로그릿 균형으로 향하는 호모토피 경로를 추적하며, 이 균형은 거의 모든 게임에서 증명된 유일성을 가진다.
• 평균 이탈 유인(ADI)을 비볼록이고 비연속적인 목표 함수로 설정하며, 비선형 최대 연산자를 포함하여 스토케스틱 경사에서 편향을 유발한다.
• 알고리즘은 수익 텐서 요소의 적응형 샘플링을 적용한 스토케스틱 경사 하강법을 사용하여, 몬테카를로 추정치를 통해 ADI 목표 함수를 최소화한다.
• 시간이 지남에 따라 온도 파rameter를 조절하는 타슬리스 엔트로피 정규화를 사용하여 학습을 안정화하고 편향을 감소시킨다.
• 핵심 기여는 전략 분포와 수익 경사 추정치에 대해 이중 경사 업데이트를 적용하고, 단체에 사영하여 유효한 확률 분포를 유지하는 것이다.
• 기존의 해법기법과 연결하기 위해 게임의 전반적인 이중선형 근사인 폴리매트릭스 근사를 반복적으로 구성하고 반응함으로써 방법을 통합한다.

실험 결과

연구 질문

• RQ1 전체 수익 저장이 비현실적인 대규모 다중 플레이어 정규형 게임에서, 샘플 기반 경사 하강법이 유일한 나시 균형을 근사할 수 있는가?
• RQ2 ADI 목표 함수의 비선형 최대 연산자에서 발생하는 경사 편향을 스토케스틱 근사에서 효과적으로 완화할 수 있는가?
• RQ3 호모토피 계속과 엔트로피 정규화를 얼마나 효과적으로 활용하여 고차원 게임에서 안정적이고 유일한 균형으로 수렴시킬 수 있는가?
• RQ4 제안된 방법이 이전의 계산 한계를 크게 초월하여 7명 이상의 플레이어와 21개 이상의 행동을 가진 게임으로 스케일링할 수 있는가?
• RQ5 Diplomacy와 같은 복잡한 다중 에이전트 환경에서, ADIDAS는 no-regret 학습 기반 방법에 비해 수렴성과 정확도에서 어떻게 성능을 발휘하는가?

주요 결과

• ADIDAS는 7명의 플레이어와 21개의 행동을 가진 정규형 게임에서 유일한 나시 균형을 성공적으로 근사하였다. 이는 수십억 개의 결과를 포함하며, 이전의 방법을 뛰어넘는 스케일링 능력을 보여준다.
• 기존의 해법기법이 메모리 및 계산 제약으로 인해 비현실적인 게임에서도 알고리즘이 안정된 균형으로 수렴함을 확인하였다.
• 적응형 샘플링과 타슬리스 엔트로피 정규화를 통해 최대 연산자에서 기인하는 경사 편향이 효과적으로 감소되어 안정적인 최적화가 가능해졌다.
• 한계 로그릿 균형으로 향하는 호모토피 계속을 사용함으로써, 이 균형이 거의 모든 게임에서 고유하므로 균형 선택 문제를 피할 수 있었다.
• 실증 결과로 ADIDAS는 Diplomacy와 같은 복잡하고 고차원적인 게임에서 no-regret 학습 기반 방법에 비해 나시 유사 프로파일로의 수렴 속도에서 뛰어난 성능을 보였다.
• 이 방법을 통해 이전 평가보다 1000배 이상 큰 규모인 21개의 Diplomacy 봇을 메타게임에서 스케일러블하게 평가할 수 있었다.