[논문 리뷰] Last-iterate Convergence in Extensive-Form Games

Chung‐Wei Lee, Christian Kroer외 1명|arXiv (Cornell University)|2021. 06. 27.

Artificial Intelligence in Games참고 문헌 45인용 수 4

한 줄 요약

이 논문은 완전기억을 가진 두 명의 플레이어가 참가하는 제로섬 광범위형 게임에서 옵timistic 잔류 최소화 알고리즘의 마지막 반복 수렴성을 확립한다. 이는 전통적인 CFR 방법이 평균화에 의존하고 느리게 수렴하는 데 반해, Dilated Optimistic Multiplicative Weights Update (DOMWU)와 같은 알고리즘이 나시 균형에 선형적으로 수렴함을 보여준다. 주요 기여는 강한 볼록 정규화자와 옵티미스틱 업데이트를 사용한 순차적 게임에서 더 빠르고 직접적인 수렴을 위한 이론적 기반을 제공하는 것이다.

ABSTRACT

Regret-based algorithms are highly efficient at finding approximate Nash equilibria in sequential games such as poker games. However, most regret-based algorithms, including counterfactual regret minimization (CFR) and its variants, rely on iterate averaging to achieve convergence. Inspired by recent advances on last-iterate convergence of optimistic algorithms in zero-sum normal-form games, we study this phenomenon in sequential games, and provide a comprehensive study of last-iterate convergence for zero-sum extensive-form games with perfect recall (EFGs), using various optimistic regret-minimization algorithms over treeplexes. This includes algorithms using the vanilla entropy or squared Euclidean norm regularizers, as well as their dilated versions which admit more efficient implementation. In contrast to CFR, we show that all of these algorithms enjoy last-iterate convergence, with some of them even converging exponentially fast. We also provide experiments to further support our theoretical results.

연구 동기 및 목표

• 광범위형 게임에서 대조적 불만 최소화(CFR)의 느린 수렴성과 평균화 오버헤드 문제를 해결하기 위해.
• 옵티미스틱 잔류 최소화 알고리즘이 완전기억을 가진 제로섬 광범위형 게임에서 마지막 반복 수렴성을 달성할 수 있는지 조사하기 위해.
• 강한 볼록 정규화자를 사용한 옵티미스틱 미러 강하 알고리즘의 명시적 수렴 속도를 확립하기 위해.
• 마지막 반복 수렴이 평균 반복 수렴보다 증명 가능하게 더 빠른 조건을 특정하기 위해.
• 최근의 마지막 반복 수렴 성과를 정규형 게임에서 광범위형 게임으로 확장하기 위해.

제안 방법

• 완전기억을 가진 광범위형 게임의 순서형 표현에서 문제를 체계화하기 위해.
• 강한 볼록 정규화자를 사용한 옵티미스틱 온라인 미러 강하(OMD) 적용, 바닐라 엔트로피, 유클리드 제곱 노름, 그리고 그들의 확장된 변형 포함.
• 확장된 엔트로피 정규화자를 사용해 효율적 구현을 가능하게 하고, 나시 균형의 유일성 조건 하에서 선형 수렴을 증명하기 위해.
• 브레그만 산란도를 사용해 수렴성을 확립하고, 게임에 따라 달라지는 상수를 사용해 최적 전략까지의 거리를 유 bounds.
• 옵티미스틱 업데이트의 행동을 분석해 마지막 반복이 나시 균형에 수렴함을 보장하며, 평균만 수렴하는 것이 아니라는 점을 확인하기 위해.
• DOMWU와 같은 알고리즘이 나시 균형의 유일성 가정 하에서 지수적(선형) 수렴 속도를 달성함을 증명하기 위해.

실험 결과

연구 질문

• RQ1 옵티미스틱 잔류 최소화 알고리즘이 완전기억을 가진 두 명의 플레이어가 참가하는 제로섬 광범위형 게임에서 마지막 반복 수렴성을 달성할 수 있는가?
• RQ2 DOMWU와 같은 알고리즘이 나시 균형에 선형으로 수렴하는가, 그리고 어떤 조건에서 그러한 수렴이 이루어지는가?
• RQ3 CFR와 그 변형은 평균에서 수렴함에도 불구하고, 왜 마지막 반복에서 수렴하지 못하는가?
• RQ4 옵티미스틱 알고리즘의 이론적 수렴 속도를 O(1/√T) 또는 O(1/T)를 초월해 향상시킬 수 있는가?
• RQ5 실제로 옵티미스틱 알고리즘의 마지막 반복이 평균 전략보다 우수한 것으로 관찰되는 데 대해 이론적 근거는 있는가?

주요 결과

• 강한 볼록 정규화자를 사용하는 모든 옵티미스틱 잔류 최소화 알고리즘, DOMWU 포함, 완전기억을 가진 두 명의 플레이어가 참가하는 제로섬 광범위형 게임에서 마지막 반복 수렴성을 달성한다.
• 확장된 옵티미스틱 곱셈 가중치 업데이트(DOMWU) 알고리즘은 나시 균형의 유일성 가정 하에서 유일한 나시 균형에 선형적으로 수렴한다.
• 반면, 표준 CFR 및 CFR+와 같은 변형들은 평균화에 의존하기 때문에, 심지어 경험적으로도 마지막 반복에서 수렴하지 못한다.
• DOMWU의 수렴 속도는 지수적(선형)임이 증명되었으며, 이는 일반적인 잔류 최소화 알고리즘의 O(1/√T) 또는 O(1/T) 수렴 속도보다 훨씬 빠르다.
• 이론적 분석에 따르면, 최적 전략까지의 브레그만 산란도가 지수적으로 감소함을 보여, 선형 수렴을 확립하는 데 핵심적이다.
• DOGDA는 강력한 경험적 성능과 점근적 선형 수렴을 보이지만, 확장된 유클리드 정규화자의 기술적 과제로 인해 구체적인 수렴 속도는 아직 열려 있는 문제이다.