[논문 리뷰] Lazy-CFR: fast and near optimal regret minimization for extensive games with imperfect information

Yichi Zhou, Tongzheng Ren외 3명|arXiv (Cornell University)|2018. 10. 10.

Advanced Bandit Algorithms Research참고 문헌 16인용 수 5

한 줄 요약

이 논문은 두 명의 플레이어가 참가하는 완전 정보가 없는 광범위한 게임에서, 정보 집합의 부분 집합만 업데이트하고, 이로 인해 수렴 속도를 높이는 새로운 근거 최소화 알고리즘인 Lazy-CFR를 소개한다. 특히, 매 라운드당 전체 정보 집합 O(|I|) 대신 O(√|I|)개의 정보 집합만 업데이트함으로써, O(√(ξDT log A))의 더 날카운 감소 경계를 활용함으로써, Leduc-15와 같은 대규모 게임에서 기존 CFR 대비 최대 500배 빠른 수렴 속도를 달성하면서도 근거 성능은 거의 최적에 가깝게 유지한다.

ABSTRACT

Counterfactual regret minimization (CFR) is the most popular algorithm on solving two-player zero-sum extensive games with imperfect information and achieves state-of-the-art performance in practice. However, the performance of CFR is not fully understood, since empirical results on the regret are much better than the upper bound proved in \cite{zinkevich2008regret}. Another issue is that CFR has to traverse the whole game tree in each round, which is time-consuming in large scale games. In this paper, we present a novel technique, lazy update, which can avoid traversing the whole game tree in CFR, as well as a novel analysis on the regret of CFR with lazy update. Our analysis can also be applied to the vanilla CFR, resulting in a much tighter regret bound than that in \cite{zinkevich2008regret}. Inspired by lazy update, we further present a novel CFR variant, named Lazy-CFR. Compared to traversing $O(|\mathcal{I}|)$ information sets in vanilla CFR, Lazy-CFR needs only to traverse $O(\sqrt{|\mathcal{I}|})$ information sets per round while keeping the regret bound almost the same, where $\mathcal{I}$ is the class of all information sets. As a result, Lazy-CFR shows better convergence result compared with vanilla CFR. Experimental results consistently show that Lazy-CFR outperforms the vanilla CFR significantly.

연구 동기 및 목표

• 대규모 게임에서 특히 전체 게임 트리를 매 라운드마다 순회해야 하는 Counterfactual Regret Minimization (CFR)의 높은 계산 비용을 해결하기 위해.
• 근거 성능을 훼손하지 않으면서 매 라운드 갱신하는 정보 집합의 수를 줄이는 이론적으로 타당한 기법을 개발하기 위해.
• 기본 최적 전략을 기반으로 즉각적 근거 간의 상관관계를 분석함으로써, CFR 및 그 변형에 대해 더 날카운 근거 경계를 도출하기 위해.
• 기존 CFR보다 훨씬 더 빠른 수렴 속도를 달성하면서도 거의 최적의 근거 성능을 유지하는 실용적인 알고리즘인 Lazy-CFR를 설계하기 위해.

제안 방법

• 시간 영역을 세그먼트로 나누고 전략 갱신을 세그먼트 경계에서만 수행하는 러닝 업데이트 프레임워크를 도입함으로써, 라운드당 계산량을 감소시킨다.
• 즉각적 근거 간의 상관관계를 드러내는 새로운 근거 분석 기법을 제안하여, 이전의 O(|I|√(T log A)) 대신 더 날카운 상한 O(√(ξDT log A))을 도출한다.
• 간단한 임계값 기반 업데이트 규칙을 정의: 누적 도달 확률이 임계값을 초과할 때만 정보 집합을 업데이트함으로써, 자연스럽게 매 라운드당 업데이트되는 정보 집합의 수를 O(√|I|)로 제한한다.
• 근거 매칭을 위한 온라인 학습 솔버로 히지 알고리즘(Hedge algorithm)을 적용하여, 가장 관련성이 높은 정보 집합에서만 효율적인 전략 업데이트를 가능하게 한다.
• 이론적 경계를 유도하여, ϵ-네쉬 균형을 계산하는 데 있어 Lazy-CFR의 실행 시간이 기존 CFR 대비 O(√|I|/D) 배 빠르다는 것을 보여준다.
• 명시적인 적대자(adversary)를 구성하여, 근거 하한 경계가 Ω(√(ξT log A))임을 증명함으로써, CFR와 Lazy-CFR가 작은 요소 내에서 거의 최적임을 확인한다.

실험 결과

연구 질문

• RQ1 CFR에서 매 라운드 갱신하는 정보 집합의 수를 줄이되, 이론적 근거 보장을 유지할 수 있는가?
• RQ2 즉각적 근거 간의 상관관계를 분석함으로써, 이전에는 독립적으로 취급했던 것과 달리, CFR에 대해 더 날카운 근거 경계를 도출할 수 있는가?
• RQ3 간단한 임계값 기반 업데이트 규칙이 수렴 품질을 떨어뜨리지 않고 실제로는 상당한 속도 향상을 이끌 수 있는가?
• RQ4 Lazy-CFR의 성능은 기존 CFR 및 MC-CFR, CFR+와 같은 다른 변형들과 비교해 수렴 속도와 유용성 측면에서 어떻게 다른가?
• RQ5 Lazy-CFR의 근거 경계는 거의 최적인가? 그리고 정보 이론적 하한 경계와의 이론적 격차는 얼마인가?

주요 결과

• Lazy-CFR는 매 라운드 갱신하는 정보 집합의 수를 O(|I|)에서 O(√|I|)로 줄여 대규모 게임에서 상당한 속도 향상을 달성한다.
• 1.3×10⁵개 이상의 정보 집합을 가진 Leduc-15 게임에서, Lazy-CFR는 기존 CFR 대비 200배 이상 빠른 수렴 속도를 보였다.
• Leduc-15 벤치마크에서 Lazy-CFR+는 CFR+ 대비 500배 이상 빠른 수렴 속도를 달성했다.
• Lazy-CFR의 근거 경계는 O(√(ξDT log A))이며, 이는 이전의 O(|I|√(T log A)) 경계보다 날카롭고, O(D) 요소 내에서 거의 최적이다.
• 이론적 분석을 통해 어떤 알고리즘도 근거를 Ω(√(ξT log A)) 이하로 낮출 수 없음을 증명하였으며, 이는 CFR와 Lazy-CFR가 모두 작은 요소 내에서 거의 최적임을 확인한다.
• 실험 결과, Leduc-5와 같은 작은 인스턴스에서는 약간의 성능 저하가 있었지만, 더 큰 게임에서는 MC-CFR와 CFR+를 모두 능가하는 성능을 보였다.