[논문 리뷰] OpenHoldem: An Open Toolkit for Large-Scale Imperfect-Information Game Research.

Kai Li, Hang Xu외 5명|arXiv (Cornell University)|2020. 12. 11.

Artificial Intelligence in Games참고 문헌 31인용 수 6

한 줄 요약

OpenHoldem은 대규모 불완전 정보 게임, 특히 노리밋 텍사스 홀드'em(NLTH)에서의 연구를 표준화하기 위해 설계된 오픈소스 툴킷입니다. 이 툴킷은 통합된 평가 프로토콜, 세 가지 강력한 공개 기준 모델, 그리고 AI 개발 및 NLTH 연구의 벤치마킹을 가속화하는 온라인 API 기반 테스트 플랫폼을 제공합니다.

ABSTRACT

Owning to the unremitting efforts by a few institutes, significant progress has recently been made in designing superhuman AIs in No-limit Texas Hold'em (NLTH), the primary testbed for large-scale imperfect-information game research. However, it remains challenging for new researchers to study this problem since there are no standard benchmarks for comparing with existing methods, which seriously hinders further developments in this research area. In this work, we present OpenHoldem, an integrated toolkit for large-scale imperfect-information game research using NLTH. OpenHoldem makes three main contributions to this research direction: 1) a standardized evaluation protocol for thoroughly evaluating different NLTH AIs, 2) three publicly available strong baselines for NLTH AI, and 3) an online testing platform with easy-to-use APIs for public NLTH AI evaluation. We have released OpenHoldem at this http URL, hoping it facilitates further studies on the unsolved theoretical and computational issues in this area and cultivate crucial research problems like opponent modeling, large-scale equilibrium-finding, and human-computer interactive learning.

연구 동기 및 목표

• 대규모 불완전 정보 게임 연구의 진전을 저해하는 No-limit Texas Hold'em(NLTH) AI 에이전트 평가를 위한 표준화된 벤치마크의 부족을 해결하기 위해.
• 다양한 NLTH AI 방법 간의 공정한 비교를 가능하게 하기 위해 일관되고 재현 가능한 평가 프로토콜을 제공하기 위해.
• 신규 연구를 위한 성능 기준으로 활용할 수 있도록 공개 가능한 세 가지 강력한 기준 모델을 제공하기 위해.
• 접근성 있는 API를 갖춘 온라인 테스트 플랫폼을 통해 NLTH AI의 빠른 프로토타이핑과 공개 평가를 가능하게 하기 위해.
• 상대방 모델링, 대규모 균형점 탐색, 인간-컴퓨터 상호작용 학습과 같은 핵심 과제에 대한 연구를 촉진하기 위해.

제안 방법

• 다양한 게임 조건에서 NLTH AI 에이전트의 철저하고 재현 가능한 벤치마킹을 가능하게 하는 표준화된 평가 프로토콜을 설계하기 위해.
• 최신 기술 수준을 반영하는 세 가지 강력하고 공개 가능한 NLTH AI 기준 모델을 구현하여 기준점으로 활용하기 위해.
• 연구자들이 원격으로 쉽게 AI 에이전트를 제출하고 평가할 수 있도록 잘 문서화된 API를 갖춘 온라인 테스트 플랫폼을 개발하기 위해.
• 성능 평가의 포괄성을 확보하기 위해 칩 유용성과 탐욕성 등 일반적인 게임 지표를 평가 파이프라인에 통합하기 위해.
• AI 에이전트의 표준 입력/출력 형식을 지원함으로써 기존 연구 프레임워크와의 호환성을 확보하기 위해.
• 공개 URL을 통해 툴킷을 공개하여 개방형 접근, 재현 가능성, 공동체 기반의 발전을 촉진하기 위해.

실험 결과

연구 질문

• RQ1 어떻게 하면 다양한 NLTH AI 에이전트를 공정하고 재현 가능한 방식으로 비교할 수 있는 표준화된 평가 프레임워크를 구축할 수 있을까?
• RQ2 신규 NLTH AI 연구를 위한 강력한 기준점이 될 수 있는 효과적인 공개 기준 모델은 무엇인가?
• RQ3 접근성 있는 API 기반 온라인 플랫폼은 NLTH AI 개발의 평가 및 반복 주기 가속화에 어떻게 기여할 수 있는가?
• RQ4 통합된 툴킷은 대규모 불완전 정보 게임 연구 분야의 신규 연구자들이 진입 장벽을 줄이는 데 어느 정도 기여할 수 있는가?
• RQ5 이러한 툴킷은 상대방 모델링 및 대규모 균형점 계산과 같은 핵심 과제에서의 진전을 어떻게 촉진할 수 있는가?

주요 결과

• OpenHoldem은 일관되고 종합적인 NLTH AI 에이전트 벤치마킹을 가능하게 하는 표준화된 평가 프로토콜을 제공합니다.
• 툴킷은 성능 비교를 위한 고수준 기준점이 되는 세 가지 강력하고 공개 가능한 기준 모델을 포함하고 있습니다.
• 접근성 있는 API를 갖춘 온라인 테스트 플랫폼을 통해 연구자들이 원격으로 AI 에이전트를 제출하고 평가할 수 있어 설정 및 배포 장벽을 감소시킵니다.
• 통합된 인프라를 통해 OpenHoldem은 상대방 모델링 및 대규모 균형점 탐색과 같은 핵심 분야의 연구를 가속화합니다.
• 공개 URL에서의 툴킷 배포는 재현 가능성, 협업, 공동체 기반 혁신을 촉진하여 NLTH AI 연구 분야의 발전에 기여합니다.
• 확장 가능한 평가 기반을 제공함으로써 향후 인간-컴퓨터 상호작용 학습 분야의 발전을 지원할 수 있도록 툴킷이 설계되어 있습니다.