[논문 리뷰] No-Regret Learning in Extensive-Form Games with Imperfect Recall

Marc Lanctot, Richard G. Gibson외 3명|arXiv (Cornell University)|2012. 05. 03.

Advanced Bandit Algorithms Research참고 문헌 12인용 수 44

한 줄 요약

이 논문은 잘 정의된 게임과 기울어진 잘 정의된 게임을 도입하여, 불완전 기억이 있는 확장형 게임에서 최초로 Counterfactual Regret Minimization (CFR)에 대한 최소한의 회귀 경계를 확립한다. 이는 이러한 게임에서 CFR가 낮은 평균 회귀를 달성할 수 있음을 증명하며, 이 클래스에 속하는 추상화된 게임으로의 확장을 통해 메모리 효율적인 학습이 가능하게 하며, 주사위 굴림 포커, 패러디틱 틱택토, 블러프와 같은 도메인에서 회귀 증가를 통제할 수 있다.

ABSTRACT

Counterfactual Regret Minimization (CFR) is an efficient no-regret learning algorithm for decision problems modeled as extensive games. CFR's regret bounds depend on the requirement of perfect recall: players always remember information that was revealed to them and the order in which it was revealed. In games without perfect recall, however, CFR's guarantees do not apply. In this paper, we present the first regret bound for CFR when applied to a general class of games with imperfect recall. In addition, we show that CFR applied to any abstraction belonging to our general class results in a regret bound not just for the abstract game, but for the full game as well. We verify our theory and show how imperfect recall can be used to trade a small increase in regret for a significant reduction in memory in three domains: die-roll poker, phantom tic-tac-toe, and Bluff.

연구 동기 및 목표

• 이전의 보장이 적용되지 않는 불완전 기억이 있는 광범위한 형식 게임에서 CFR에 대한 이론적 회귀 경계를 제공하는 것.
• CFR의 회귀 최소화가 여전히 증명 가능하게 효과적인, 불완전 기억 게임의 일반적인 클래스인 잘 정의된 게임과 기울어진 잘 정의된 게임을 정의하는 것.
• 이 클래스에 속하는 추상화에 CFR를 적용할 경우, 추상화된 게임 뿐만 아니라 원래의 전체 게임에서도 낮은 회귀를 보장할 수 있음을 보여주는 것.
• 세 가지 도메인인 주사위 굴림 포커, 패러디틱 틱택토, 블러프에서 이론을 실증적으로 검증하여, 메모리 사용을 줄이면서도 회귀 증가가 미미한 실용적 성과를 보여주는 것.

제안 방법

• 정보 집합과 플레이어 기억에 대한 구조적 제약 조건을 갖는 잘 정의된 게임과 기울어진 잘 정의된 게임을 도입한다.
• 불완전 기억이 있더라도 대조적 회귀를 의미 있게 경계할 수 있도록 보장하는 조건 (i)–(iv)를 정의한다.
• 이 게임 클래스에 CFR를 적용하여, 약간의 가정 하에 평균 회귀가 0으로 수렴함을 증명한다.
• 각 결정 지점에서 대조적 가치와 회귀 계산을 수행하며, 반복 과정에서 가중 평균을 통한 회귀 최소화를 실시한다.
• 조건 (iii)을 완화하여, 정보 집합이 재기억되더라도 동형 서브트리를 허용함으로써 적용 범위를 넓힌다.
• 세 게임의 추상화된 버전에서 CFR를 실증적으로 평가하여, 회귀와 메모리 사용량을 측정함으로써 이론적 주장의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 CFR는 이전 연구에서 이론적 보장이 없었던 불완전 기억이 있는 광범위한 형식 게임에서 낮은 회귀를 달성할 수 있는가?
• RQ2 CFR가 여전히 회귀를 최소화할 수 있도록 허용하는 불완전 기억 게임의 구조적 조건은 무엇이며, 이를 어떻게 공식적으로 정의할 수 있는가?
• RQ3 이러한 불완전 기억 추상화에 CFR를 적용할 경우, 원래의 전체 게임에 대한 회귀 경계가 유지되는가?
• RQ4 확률적 행동이 비례하지 않거나 정보 집합이 대칭이 아닌 게임으로 이론적 회귀 경계를 확장할 수 있는가?
• RQ5 불완전 기억 추상화를 통해 실질적으로 얼마나 많은 메모리 사용을 줄일 수 있으며, 이로 인해 회귀 증가가 최소한으로 유지되는가?

주요 결과

• CFR는 불완전 기억이 있더라도 잘 정의된 게임과 기울어진 잘 정의된 게임에서 평균 회귀가 점점 줄어들며, 이러한 설정에서 CFR의 사용에 대한 최초의 이론적 근거를 제공한다.
• 추상화가 기울어진 잘 정의된 클래스에 속할 경우, 추상화된 게임에서의 CFR 회귀 경계는 원래 게임에도 동일하게 적용된다.
• 주사위 굴림 포커, 패러디틱 틱택토, 블러프에서의 실증 결과는 불완전 기억 추상화가 메모리 사용을 크게 줄이며, 회귀 증가가 미미한 것으로 나타났다.
• 반례를 통해 게임 정의의 조건 (iii)을 위반할 경우 CFR가 일정한 회귀로 정체에 빠지게 되어, 구조적 제약 조건의 필수성을 입증한다.
• 조건 (iv)를 완화하여 동형 서브트리를 허용함으로써 이론적으로 타당하며, 적용 범위를 넓힐 수 있지만 실용적 이점은 명확하지 않다.
• 이 연구는 광범위한 형식 게임에서 불완전 기억을 이론적으로 근거 있게 실용화한 최초의 작업으로, 대규모 게임에서 확장형 CFR 기반 학습의 가능성을 열어준다.