[논문 리뷰] RLCard: A Toolkit for Reinforcement Learning in Card Games

Daochen Zha, Kwei-Herng Lai외 5명|arXiv (Cornell University)|2019. 10. 10.

Reinforcement Learning in Robotics참고 문헌 21인용 수 31

한 줄 요약

RLCard는 텍사스 홀덤, 우노, 두두주와 같은 복잡한 블랙잭 게임에서 강화학습(RL) 연구를 위한 표준화되고 접근 가능한 환경을 제공하는 오픈소스 툴킷이다. 다중 에이전트, 큰 상태/행동 공간, 희박한 보상 설정을 통합 인터페이스를 통해 지원하여 DQN 및 NFSP와 같은 RL 알고리즘의 재현 가능 평가 및 벤치마킹을 가능하게 하며, 실험 결과는 NFSP가 대부분의 게임에서 DQN을 능가하고 CFR가 레드카드 홀덤에서 뛰어난 성능을 보임을 보여준다.

ABSTRACT

RLCard is an open-source toolkit for reinforcement learning research in card games. It supports various card environments with easy-to-use interfaces, including Blackjack, Leduc Hold'em, Texas Hold'em, UNO, Dou Dizhu and Mahjong. The goal of RLCard is to bridge reinforcement learning and imperfect information games, and push forward the research of reinforcement learning in domains with multiple agents, large state and action space, and sparse reward. In this paper, we provide an overview of the key components in RLCard, a discussion of the design principles, a brief introduction of the interfaces, and comprehensive evaluations of the environments. The codes and documents are available at https://github.com/datamllab/rlcard

연구 동기 및 목표

• 연구를 위해 접근 가능하고 재현 가능한 환경을 제공함으로써 강화학습과 불완전 정보 게임을 연결하고자 한다.
• 카드 게임에서 흔히 발생하는 다중 에이전트 설정, 큰 상태 및 행동 공간, 희박한 보상과 같은 과제를 해결하고자 한다.
• 일致하고 잘 문서화된 인터페이스를 제공함으로써 연구자가 게임 특화 엔지니어링에 신경 쓰지 않고도 알고리즘 개발에 집중할 수 있도록 하고자 한다.
• 표준화된 평가 도구와 토너먼트 기반 성능 측정을 통해 RL 알고리즘의 벤치마킹을 지원하고자 한다.
• 미래의 평가 및 분석을 위해 규칙 기반 에이전트, 미리 훈련된 모델, 시각화 도구를 포함하여 툴킷을 확장하고자 한다.

제안 방법

• 툴킷은 블랙잭, 레드카드 홀덤, 텍사스 홀덤, 우노, 두두주, 마작 등 여러 카드 게임을 통일된 환경 인터페이스를 사용하여 구현하며, 일관된 상태 및 행동 인코딩을 제공한다.
• 각 게임은 다중 에이전트 및 단일 에이전트 모드를 지원하는 환경 클래스로 래핑되며, 다른 플레이어는 사전 훈련된 모델을 사용해 시뮬레이션한다.
• 상태 표현 및 행동 추상화는 구성 가능하여 연구자가 알고리즘 실험을 위한 게임 설정을 맞춤형으로 조정할 수 있다.
• 툴킷은 반복적인 대결을 통해 승리율을 측정하는 토너먼트 평가 프레임워크를 제공한다.
• 가치 기반(DQN)과 정책 기반(NFSP, CFR) RL 알고리즘을 모두 지원하며, 고정된 난수 시드를 사용해 결과의 재현 가능성을 확보한다.
• 성능 평가에는 랜덤 에이전트와의 자가 대결 및 기존 알고리즘(CFR 등)과의 비교가 포함되며, 효율성 분석을 위한 정규화된 실행 시간 측정도 제공한다.

실험 결과

연구 질문

• RQ1 큰 상태 및 행동 공간, 희박한 보상이 존재하는 카드 게임에 강화학습을 효과적으로 적용할 수 있는 방법은 무엇인가?
• RQ2 DQN 및 NFSP와 같은 표준 RL 알고리즘이 우노 및 두두주와 같은 복잡한 카드 게임에서 어느 정도의 성능을 보이는가?
• RQ3 RL 알고리즘 평가에서 랜덤 에이전트와의 성능 대비 강력한 사전 훈련된 에이전트와의 성능를 비교할 경우 어떤 결과가 도출되는가?
• RQ4 RLCard의 다양한 카드 게임 환경에서의 계산 효율성 특성, 특히 타임스텝당 처리량 측면에서 어떤가?
• RQ5 NFSP 대비 DQN 또는 CFR 등 다양한 알고리즘 접근 방식이 다양한 카드 게임에서 안정성 및 승리율 측면에서 어떻게 비교되는가?

주요 결과

• NFSP는 대부분의 환경에서 DQN을 능가하며, 레드카드 홀덤에서 DQN에 대해 0.0776의 수익을 얻고 텍사스 홀덤에서 1.2493의 수익을 얻는다.
• DQN은 라운드 베팅 게임인 레드카드 홀덤과 텍사스 홀덤에서 랜덤 에이전트에 대해 잘 수행하지만, 공격적으로 플레이하고 매우 탐색 가능성이 높은 편이다.
• 우노, 마작, 두두주와 같은 큰 게임에서는 DQN과 NFSP 모두 훈련 중에 거의 향상이 없어, 불안정성과 학습의 어려움을 보여준다.
• 두두주, 우노, 마작와 같은 장기적인 게임에서는 타임스텝당 실행 시간을 정규화하여 처리량이 프로세서 수에 비례해 증가함을 확인하였다.
• CFR는 레드카드 홀덤에서 NFSP와 DQN에 대해 각각 0.0776과 1.2493의 승리를 거두며, 작은 게임 트리에서의 효과성을 입증한다.
• 모든 환경은 고정된 난수 시드를 사용해 재현 가능하며, 다수의 실행에서 일관된 결과를 보여 툴킷의 벤치마킹 신뢰성을 입증한다.