[논문 리뷰] Solving Imperfect Information Games Using Decomposition

Neil Burch, Michael Johanson외 1명|arXiv (Cornell University)|2013. 03. 18.

Artificial Intelligence in Games참고 문헌 13인용 수 7

한 줄 요약

이 논문은 완전하지 않은 정보 게임을 최적성 보장을 유지하면서 독립적으로 해결할 수 있는 하위게임으로 분해할 수 있는 이론적으로 보장된 최초의 방법을 제안한다. CFR-D는 가용 메모리가 16GB 이내에서도 2명의 플레이어가 참가하는 라이밋 텍사스 홀드아임 포커와 같은 대규모 게임을 하위선형 공간 복잡도로 해결할 수 있도록 해주는 알고리즘으로, 기존 전략이 200TB 이상의 스토리지가 필요하나도 작동한다.

ABSTRACT

Decomposition, i.e. independently analyzing possible subgames, has proven to be an essential principle for effective decision-making in perfect information games. However, in imperfect information games, decomposition has proven to be problematic. To date, all proposed techniques for decomposition in imperfect information games have abandoned theoretical guarantees. This work presents the first technique for decomposing an imperfect information game into subgames that can be solved independently, while retaining optimality guarantees on the full-game solution. We can use this technique to construct theoretically justified algorithms that make better use of information available at run-time, overcome memory or disk limitations at run-time, or make a time/space trade-off to overcome memory or disk limitations while solving a game. In particular, we present an algorithm for subgame solving which guarantees performance in the whole game, in contrast to existing methods which may have unbounded error. In addition, we present an offline game solving algorithm, CFR-D, which can produce a Nash equilibrium for a game that is larger than available storage.

연구 동기 및 목표

• 이전 방법들이 최적성 보장을 기꺼이 기부하는 바람에, 완전하지 않은 정보 게임에서 이론적으로 타당한 분해 기법의 부족을 해결하고자 한다.
• 관리 가능한 하위게임으로 분해함으로써 대규모 완전하지 않은 정보 게임을 효율적이고 메모리 제약 조건 하에서 해결할 수 있도록 하고자 한다.
• 기존 전략에 비해 가용성 증가가 없도록 보장하는 재해결 기법을 개발하고자 한다.
• CFR-D를 제안함으로써 하위게임 분해를 통해 오차가 제한된 내쉬 균형을 계산하는 오프라인 알고리즘을 개발하고, 저장소 제약 조건을 극복하고자 한다.
• 실험적으로 이전의 안전하지 않은 재해결 방법은 이론적으로 보장된 접근 방식보다 훨씬 높은 유용성 수준에 이를 수 있음을 입증하고자 한다.

제안 방법

• 정보 집합과 도달 가능한 종료 상태를 기반으로 한 완전하지 않은 정보 게임에서의 하위게임에 대한 새로운 정의를 제안한다.
• 대조적 가치와 요약 정보를 사용하여, 원래 전략보다 더 유용성이 높지 않은 새로운 하위게임 전략을 생성하는 재해결 방법을 개발한다.
• 각 하위게임 내에서 재귀적 최적 반응 계산을 수행하여 재해결을 위한 필요한 대조적 가치를 계산한다.
• CFR 알고리즘을 트렁크와 하위게임에 적용하고, 하위게임을 독립적으로 재해결하여 전략을 정교화하면서도 전역 최적성 보장을 유지한다.
• CFR-D를 사용하여 트렁크와 하위게임을 반복적으로 해결함으로써 총 유용성 오차를 트렁크 오차, 하위게임 오차, 재해결 오차의 합으로 제한한다.
• 전체 전략의 유용성 한계가 원래 전략의 유용성 한계 내에 유지되도록 보장하는 전략 조합 기법을 적용한다.

실험 결과

연구 질문

• RQ1 완전하지 않은 정보 게임을 하위게임으로 분해할 수 있는가? 이때 독립적 해결이 전역 최적성과 유용성 한계를 유지할 수 있는가?
• RQ2 기존 전략에 비해 유용성 증가가 없도록 보장하는 재해결 기법을 설계할 수 있는가?
• RQ3 2명의 플레이어가 참가하는 라이밋 텍사스 홀드아임 포커와 같은 대규모 완전하지 않은 정보 게임을 하위선형 메모리 사용량으로 이론적 보장을 유지하면서 해결할 수 있는가?
• RQ4 실제로 안전한 재해결과 안전하지 않은 재해결 방법 간의 유용성 수준은 어떻게 비교되는가?
• RQ5 저장소 제약 조건을 초월하는 게임 해결 알고리즘에서 솔루션 품질을 희생시키지 않고 분해 기법을 사용할 수 있는가?

주요 결과

• 제안된 재해결 기법은 기존의 안전하지 않은 방법과 달리 전체 전략의 유용성이 증가하지 않음을 보장한다.
• 레두크 홀드아임에서의 실험 결과, 안전한 재해결 방법은 2,000회 반복 후에 유용성을 0.382에서 0.23에서 0.29 채프/핸드 사이로 감소시켰지만, 안전하지 않은 방법은 0.39 채프/핸드로 유지되었다.
• CFR-D는 전체 전략이 200TB 이상의 스토리지가 필요하나도 16GB 미만의 메모리로 2명의 플레이어가 참가하는 라이밋 텍사스 홀드아임 포커를 해결할 수 있게 한다.
• CFR-D의 유용성 수렴값은 트렁크 오차와 재해결 오차에 의해 결정되며, 이는 이론적 기대와 일치한다.
• 안전하지 않은 재해결 방법은 한 명의 상대와의 대결에서는 약간의 우위를 보였지만, 다른 상황에서는 훨씬 더 높은 유용성 수준을 보이며, 이는 오차가 무한대로 증가할 수 있는 위험성을 드러낸다.
• 이 방법은 이론적 보장이 뿐 아니라 실질적으로 유용하다는 것을 입증하며, 실제 응용에서 무한대의 성능 저하를 방지할 수 있음을 보여준다.