[논문 리뷰] Empirical Analysis of Fictitious Play for Nash Equilibrium Computation in Multiplayer Games

Sam Ganzfried|arXiv (Cornell University)|2020. 01. 30.

Artificial Intelligence in Games참고 문헌 26인용 수 5

한 줄 요약

이 논문은 다인용 및 비제로섬 게임에서 사실상의 플레이(FP)가 대조적 회귀 최소화(CFR)보다 나은 나시 균형을 근사하는 것으로 입증한다. 이는 FP가 이러한 설정에서 이론적 수렴 보장이 없음에도 불구하고 성립한다. 여러 무작위 초기화를 통해 FP는 셰플리의 게임과 포스터 및 영의 도ctr린 게임과 같이 전통적으로 수렴하지 않는 고전적 사례에서도 나시 균형에 성공적으로 수렴하며, 각각 33.4% 및 0.18%의 런에서 ε < 10⁻⁴를 달성한다.

ABSTRACT

While fictitious play is guaranteed to converge to Nash equilibrium in certain game classes, such as two-player zero-sum games, it is not guaranteed to converge in non-zero-sum and multiplayer games. We show that fictitious play in fact leads to improved Nash equilibrium approximation over a variety of game classes and sizes than (counterfactual) regret minimization, which has recently produced superhuman play for multiplayer poker. We also show that when fictitious play is run several times using random initializations it is able to solve several known challenge problems in which the standard version is known to not converge, including Shapley's classic counterexample. These provide some of the first positive results for fictitious play in these settings, despite the fact that worst-case theoretical results are negative.

연구 동기 및 목표

• 다인용 및 비제로섬 게임에서 사실상의 플레이(FP)와 대조적 회귀 최소화(CFR)의 나시 균형 근사 성능을 평가하는 것.
• 여러 무작위 초기화가 사실상의 플레이가 전통적으로 수렴하지 않는 게임, 예를 들어 셰플리의 게임에서 나시 균형에 수렴할 수 있는지 조사하는 것.
• FP가 이론적으로나 실무적으로나 수렴 보장이 없는 설정에서 CFR에 열등하다는 통념을 도전하는 것.
• 셰플리의 게임과 포스터 및 영의 게임과 같은 오랫동안 도전 과제로 남아온 게임 이론 문제를 FP가 해결할 수 있는 실험적 증거를 제공하는 것.

제안 방법

• 반복적 최적 반응 업데이트를 사용한 표준 사실상의 플레이 적용: 각 플레이어는 상대방의 과거 전략 평균에 대해 최적 반응을 취한다.
• 비수렴 게임에서 나시 균형의 영향 범위를 탐색하기 위해 다수의 무작위 초기화(실험에서 100,000개)를 사용한다.
• 균일한 무작위 샘플링을 통해 초기 혼합 전략을 생성하고, 유효한 확률 분포를 보장하기 위해 정규화한다.
• ε-나시 균형 기준으로 수렴을 측정: 최적 반응에서의 기대 수익의 최대 편차.
• 모든 초기화 중에서 가장 낮은 ε를 기록한 런을 최종 전략 프로파일로 선정한다.
• 성공적인 초기화를 히트맵으로 시각화하여 전략 공간 내 수렴 패턴을 분석한다.

실험 결과

연구 질문

• RQ1 다인용 및 비제로섬 게임에서 사실상의 플레이가 대조적 회귀 최소화보다 나은 나시 균형 근사를 제공하는가?
• RQ2 표준 FP가 실패하는 것으로 알려진 게임, 예를 들어 셰플리의 게임에서 사실상의 플레이는 나시 균형에 수렴할 수 있는가?
• RQ3 셰플리의 게임과 같은 비수렴 게임에서 무작위 초기화 중 수렴하는 비율은 얼마인가?
• RQ4 여러 무작위 초기화가 사실상의 플레이가 해결할 수 있는 게임의 집합을 상당히 확장한다는 실험적 증거가 있는가?

주요 결과

• 테스트된 모든 다인용 및 비제로섬 게임 유형에서 사실상의 플레이는 대조적 회귀 최소화보다 나시 균형 근사 성능이 뛰어나다.
• 셰플리의 게임에서 100,000개의 무작위 초기화 중 33,403개(33.4%)가 ε < 10⁻⁴를 달성하여 나시 균형에 수렴함을 시사한다.
• 포스터 및 영의 도ctr린 게임에서는 100,000개의 초기화 중 182개(0.18%)가 ε < 10⁻⁴를 기록하여, 양의 측도를 가진 초기 전략 집합에서 수렴이 발생함을 보여준다.
• 결과는 사실상의 플레이가 다수의 무작위 초기화와 결합될 경우 오랫동안 수렴하지 않는 도전 과제 문제를 해결할 수 있음을 입증한다.
• 성공률은 일부 게임에서 평균적으로 FP를 550번 실행하면 ε-균형을 확보할 수 있음을 시사하며, 이는 실용적 타당성을 보여준다.
• 이러한 발견은 FP가 다인용 설정과 마찬가지로 이론적으로나 실무적으로나 CFR에 열등하다는 일반적인 견해를 도전한다.