[論文レビュー] OpenHoldem: An Open Toolkit for Large-Scale Imperfect-Information Game Research.

Kai Li, Hang Xu+5 more|arXiv (Cornell University)|Dec 11, 2020

Artificial Intelligence in Games参考文献 31被引用数 6

ひとこと要約

OpenHoldem は、特にノーリミット・テキサス・ホールデム（NLTH）における大規模な不完全情報ゲームの研究を標準化するために設計されたオープンソースのツールキットです。統一された評価プロトコル、3つの強力な公開ベースライン、およびオンラインAPIベースのテストプラットフォームを提供し、NLTH研究におけるAI開発とベンチマークの加速を図ります。

ABSTRACT

Owning to the unremitting efforts by a few institutes, significant progress has recently been made in designing superhuman AIs in No-limit Texas Hold'em (NLTH), the primary testbed for large-scale imperfect-information game research. However, it remains challenging for new researchers to study this problem since there are no standard benchmarks for comparing with existing methods, which seriously hinders further developments in this research area. In this work, we present OpenHoldem, an integrated toolkit for large-scale imperfect-information game research using NLTH. OpenHoldem makes three main contributions to this research direction: 1) a standardized evaluation protocol for thoroughly evaluating different NLTH AIs, 2) three publicly available strong baselines for NLTH AI, and 3) an online testing platform with easy-to-use APIs for public NLTH AI evaluation. We have released OpenHoldem at this http URL, hoping it facilitates further studies on the unsolved theoretical and computational issues in this area and cultivate crucial research problems like opponent modeling, large-scale equilibrium-finding, and human-computer interactive learning.

研究の動機と目的

• 大規模な不完全情報ゲーム研究の進展を妨げる、ノーリミット・テキサス・ホールデム（NLTH）AIエージェントの評価における標準化されたベンチマークの欠如に対処すること。
• 異なるNLTH AI手法を公正に比較できる一貫性があり再現可能な評価プロトコルを提供すること。
• 新しい研究のためのパフォーマンスの基準として機能する、3つの公開可能で強力なベースラインを提供すること。
• アクセス可能なAPIを備えたオンラインテストプラットフォームを通じて、NLTH AIの迅速なプロトタイピングと公開評価を可能にすること。
• 相手モデル化、大規模な均衡計算、人間-コンピュータ相互作用学習といった重要な課題における研究を促進すること。

提案手法

• 多様なゲーム状況において、NLTH AIエージェントの徹底的で再現可能なベンチマーク評価を可能にする標準化された評価プロトコルを設計すること。
• NLTH AIのための3つの強力で公開可能なベースラインを実装し、最先端のパフォーマンスを反映する基準点を提供すること。
• 研究者が遠隔で簡単にAIエージェントを提出・評価できるよう、ドキュメント化が整ったAPIを備えたオンラインテストプラットフォームを開発すること。
• チップユーティリティや剥離可能性（exploitability）といった一般的なゲーム指標を評価パイプラインに統合し、包括的なパフォーマンス評価を確保すること。
• AIエージェントの標準入出力フォーマットをサポートすることで、既存の研究フレームワークとの互換性を確保すること。
• ツールキットを専用URLで公開し、オープンアクセス、再現可能性、コミュニティ主導の進展を促進すること。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、異なるノーリミット・テキサス・ホールデムAIエージェントを公平で再現可能に比較できる標準化された評価フレームワークを構築できるか？
• RQ2 新しいNLTH AI研究のための強力な基準点として機能する効果的な公開ベースラインとは何か？
• RQ3 オンラインでAPIベースのプラットフォームは、NLTH AI開発における評価とイテレーションサイクルのアクセシビリティと効率をどのように向上できるか？
• RQ4 統一されたツールキットは、大規模な不完全情報ゲーム研究における新規研究者の参入障壁をどの程度低減できるか？
• RQ5 このようなツールキットは、相手モデル化や大規模な均衡計算といったコアな課題における進展をどのように促進できるか？

主な発見

• OpenHoldem は、NLTH AIエージェントの一貫性があり包括的なベンチマーク評価を可能にする標準化された評価プロトコルを提供する。
• ツールキットには、パフォーマンス比較の基準点として高品質な基準となる3つの強力で公開可能なベースラインが含まれる。
• アクセス可能なAPIを備えたオンラインテストプラットフォームにより、研究者が遠隔でAIエージェントを提出・評価できるようになり、セットアップやデプロイの障壁が低減される。
• 統一されたインfraを提供することで、OpenHoldem は相手モデル化や大規模な均衡計算といった重要な分野における研究を加速する。
• 公開URLでのツールキットのリリースにより、再現可能性、協働、コミュニティ主導のイノベーションが促進される。
• スケーラブルな評価基盤を提供することで、今後のヒューマン・コンピュータ相互作用学習分野における進展を支援する設計がなされている。