[논문 리뷰] Optimistic Regret Minimization for Extensive-Form Games via Dilated Distance-Generating Functions

Gabriele Farina, Christian Kroer외 1명|arXiv (Cornell University)|2019. 10. 24.

Advanced Bandit Algorithms Research인용 수 14

한 줄 요약

이 논문은 광범위한 형식 게임에 대해 확장된 거리 생성 함수—특히 확장된 엔트로피와 확장된 유클리드 거리—를 사용하여 낙관적 회귀 최소화 알고리즘을 제안한다. 이를 통해 각 정보 집합에서 국소적이고 분산형 업데이트를 가능하게 한다. 확장된 유클리드 DGF에 대해 처음으로 명시적인 강볼록성 경계를 증명하고, 나시 균형에 대해 $O(T^{-1})$ 수렴성을 보이며, 얕은 게임에서는 CFR+를 능가하고 깊은 트리에서도 회귀 최소화 성능이 뛰어나다.

ABSTRACT

We study the performance of optimistic regret-minimization algorithms for both minimizing regret in, and computing Nash equilibria of, zero-sum extensive-form games. In order to apply these algorithms to extensive-form games, a distance-generating function is needed. We study the use of the dilated entropy and dilated Euclidean distance functions. For the dilated Euclidean distance function we prove the first explicit bounds on the strong-convexity parameter for general treeplexes. Furthermore, we show that the use of dilated distance-generating functions enable us to decompose the mirror descent algorithm, and its optimistic variant, into local mirror descent algorithms at each information set. This decomposition mirrors the structure of the counterfactual regret minimization framework, and enables important techniques in practice, such as distributed updates and pruning of cold parts of the game tree. Our algorithms provably converge at a rate of $T^{-1}$, which is superior to prior counterfactual regret minimization algorithms. We experimentally compare to the popular algorithm CFR+, which has a theoretical convergence rate of $T^{-0.5}$ in theory, but is known to often converge at a rate of $T^{-1}$, or better, in practice. We give an example matrix game where CFR+ experimentally converges at a relatively slow rate of $T^{-0.74}$, whereas our optimistic methods converge faster than $T^{-1}$. We go on to show that our fast rate also holds in the Kuhn poker game, which is an extensive-form game. For games with deeper game trees however, we find that CFR+ is still faster. Finally we show that when the goal is minimizing regret, rather than computing a Nash equilibrium, our optimistic methods can outperform CFR+, even in deep game trees.

연구 동기 및 목표

• 광범위한 형식 게임에서의 회귀 최소화에 대한 이론적 수렴 속도의 격차를 메우며, 특히 Texas hold'em 포커와 같은 대규모 적용 사례에 초점을 맞춘다.
• 수형 전략 공간에 적합한 거리 생성 함수(DGF)를 설계하여 온라인 볼록 최적화(OCO) 알고리즘을 광범위한 형식 게임에 적용하는 데 도전 과제를 해결한다.
• 확장된 DGF를 통해 가능해지는 구조적 분해를 활용하여 게임 트리에서 국소적이고 분산형, 잘라내기 가능한 업데이트를 가능하게 한다.
• 기존의 대조적 회귀 최소화(CFR) 방법보다 더 빠른 수렴 속도($O(T^{-1})$)를 증명함으로써, 이론적으로는 $T^{-0.5}$ 수렴 속도를 가진다.
• 낙관적 회귀 최소화가 수렴 속도뿐 아니라 누적 회귀 성능에서도 CFR+를 능가할 수 있음을 보이며, 특히 얕은 게임이나 균형 계산이 아닌 회귀 최소화를 목표로 할 경우에 유의미하다.

제안 방법

• 광범위한 형식 게임의 순서 형식 전략 공간에 대해 확장된 거리 생성 함수(DGF)—특히 확장된 엔트로피와 확장된 유클리드 DGF—를 사용하여 타당성과 스텝 크기 제어를 유지한다.
• 일반적인 트리플렉스에 대해 확장된 유클리드 DGF에 대한 처음으로 명시적인 강볼록성 매개변수 경계를 증명하여 이론적 수렴 보장을 가능하게 한다.
• 낙관적 따르기-규칙화-리더(OFTRL) 및 낙관적 미러 강하(OOMD) 알고리즘을 각 정보 집합에서의 국소적 업데이트로 분해하여, 대조적 회귀 최소화(CFR)의 구조를 모방한다.
• 확장된 DGF에 의해 유도된 프록시멀 연산자를 사용하여 온라인 미러 강하 프레임워크에 낙관적 업데이트를 적용하고 반복 계산을 효율적으로 수행한다.
• 업데이트의 국소화를 활용하여 분산 계산과 비활성(차가운) 부분의 잘라내기를 지원한다.
• 최종 전략 프로파일을 계산하기 위해 반복 계산의 선형 평균을 사용하여 CFR+의 표준 실천 방식과 비교 가능하도록 한다.

실험 결과

연구 질문

• RQ1 적절한 거리 생성 함수를 갖춘 낙관적 회귀 최소화 알고리즘이 광범위한 형식 게임에서 나시 균형에 대해 $O(T^{-1})$ 수렴성을 달성할 수 있는가?
• RQ2 트리플렉스에서 확장된 유클리드 거리 생성 함수의 강볼록성 성질은 무엇이며, 이를 명시적으로 경계할 수 있는가?
• RQ3 확장된 DGF의 사용이 대조적 회귀 최소화의 구조를 반영하는 국소적 정보 집합 수준의 업데이트를 가능하게 하고, 분산 및 잘라내기 가능한 계산을 촉진하는가?
• RQ4 다양한 게임 깊이와 구조에서 낙관적 회귀 최소화 방법은 수렴 속도와 누적 회귀 성능 측면에서 CFR+와 어떻게 비교되는가?
• RQ5 CFR+의 이론적 $T^{-0.5}$ 수렴 속도는 실제로 타당한가, 아니면 실질적인 성능에 비해 느슨한 경계를 반영하는가?

주요 결과

• 논문은 일반적인 트리플렉스에서 확장된 유클리드 거리 생성 함수에 대해 처음으로 명시적인 강볼록성 매개변수 경계를 확립하여 이론적 수렴 보장을 가능하게 하였다.
• 얕은 행렬 게임에서 CFR+는 약 $T^{-0.74}$ 속도로 수렴하는 반면, 제안된 낙관적 OFTRL 방법은 $T^{-1}$를 초월해 더 빠르게 수렴하여 얕은 설정에서 뛰어난 경험적 성능을 보였다.
• 쿠언 포커에서 제안된 낙관적 방법은 나시 균형에 대해 $O(T^{-1})$ 수렴성을 달성하며 이론적 수렴 속도를 충족하고, 누적 회귀 성능에서 CFR+를 능가하였다.
• 레두크 포커(더 깊은 게임)에서는 OFTRL이 수렴하는 누적 회귀 속도가 CFR+를 빠르게 하였으며, 이는 안정점 갭에서는 CFR+를 능가하지 못하더라도, 이 경우에서 회귀 최소화가 더 강력한 평가 기준임을 시사한다.
• 모든 테스트된 게임에서 OFTRL의 누적 회귀 합계는 항상 CFR+보다 낮게 유지되었으며, 이는 CFR+의 이론적 회귀 경계가 실질적으로 느슨하다는 것을 시사한다.
• 이론적 분석에 따르면 안정점 갭은 $(R_1 + R_2)/T$ 로 경계되지만, 경험적 결과는 이 경계가 실제 성능보다 훨씬 느슨한 경우가 많음을 보여주며, CFR+가 실질적으로 빠른 수렴을 보이더라도 가속화된 방법은 아닐 수 있음을 시사한다.