[論文レビュー] Introducing the Hearthstone-AI Competition

Alexander Dockhorn, Sanaz Mostaghim|arXiv (Cornell University)|May 6, 2019

Artificial Intelligence in Games参考文献 7被引用数 15

ひとこと要約

本論文は、 collectible card game である Hearthstone における AI エージェントの開発とベンチマーク評価を目的とした 'Hearthstone-AI コンペティション' を紹介する。部分観測性、高いカードの複雑性、ランダムネス、デッキの相乗効果、動的なメタゲームといった課題に対処するため、2つのコンペティショントラック（事前構築デッキでのプレイとユーザー作成デッキでのプレイ）を採用し、豊富で戦略的な環境における AI エージェントの標準化された評価を可能にする。

ABSTRACT

The Hearthstone AI framework and competition motivates the development of artificial intelligence agents that can play collectible card games. A special feature of those games is the high variety of cards, which can be chosen by the players to create their own decks. In contrast to simpler card games, the value of many cards is determined by their possible synergies. The vast amount of possible decks, the randomness of the game, as well as the restricted information during the player's turn offer quite a hard challenge for the development of game-playing agents. This short paper introduces the competition framework and goes into more detail on the problems and challenges that need to be faced during the development process.

研究の動機と目的

• Hearthstone の複雑な環境において、AI エージェントの訓練と評価のための標準化されたベンチマークを確立すること。
• 部分観測性、高いカードの多様性、ランダムネス、デッキの相乗効果といった、collectible card game のコアな課題に対処すること。
• エージェントのパフォーマンスを比較可能な統一フレームワークを提供することで、ゲーム戦略 AI 分野の研究を支援すること。
• 多様なデッキや動的なメタゲームに適応できるエージェントの開発を促進すること。
• 今後のデッキ作成、ドラフトモード、バランス調整のコンペティショントラックの基盤を築くこと。

提案手法

• コンペティションは、リアルタイムでの行動送信をシミュレートするゲームエンジンとして、Sabberstone フレームワークを採用している。
• エージェントは各ターンごとに 60 秒の制限時間内に行動を計算・送信し、各行動後に状態の更新が提供される。
• ゲームシミュレーションは POGameHandler クラスによって管理され、勝敗引き分けの比率、応答時間、ゲーム結果を追跡する。
• 2 つのコンペティショントラックを実装している：『事前構築デッキでのプレイ』（固定デッキ向け）と『ユーザー作成デッキでのプレイ』（カスタムまたはオンラインで作られたデッキ向け）。
• カードのドローのランダムネスを考慮し、複数回の対戦を繰り返し、ラウンドロビン方式のトーナメントを用いて結果を集約する。
• すべての提出物は評価後、公開され、段階的な改善と再現可能性を支援する。

実験結果

リサーチクエスチョン

• RQ1 Hearthstone のような複雑で、部分観測性があり、確率的な collectible card game において、AI エージェントはどのように効果的に評価できるか？
• RQ2 エージェントは、未知の相手のデッキに対して、どのようにリアルタイムでカードの相乗効果を活用し、適応する戦略をとれるか？
• RQ3 エージェントのパフォーマンスは、異なるデッキ構成やメタゲームのダイナミクスによってどのように変化するか？
• RQ4 複数の事前構築またはユーザー作成デッキ、異なる相乗効果を持つデッキに一般化できるようにエージェントを訓練できるか？
• RQ5 多数の多様なデッキ構成をサポートする大規模な AI 評価をスケーリングする際の主な課題は何か？

主な発見

• Hearthstone-AI コンペティションは、高さと部分観測性を特徴とする、豊富で戦略的なゲーム環境における AI エージェントの評価のための統一フレームワークを提供する。
• 『事前構築デッキでのプレイ』トラックは、固定で既知のデッキに対する評価を可能にし、不確実性下での戦術的意思決定に焦点を当てる。
• 『ユーザー作成デッキでのプレイ』トラックは、カスタムまたはコミュニティが考案したデッキへのエージェントの適応を支援し、戦略的柔軟性と相乗効果の活用を重視する。
• 複数回の対戦を実施することで、カードドローのばらつきを軽減し、信頼性の高い勝率推定を実現する。
• フレームワークは、コンペティション後におけるエージェントの公開をサポートしており、反復的改善と再現可能性を可能にする。
• 今後のトラックとして、デッキ作成、ドラフトモード、バランス調整の分野が計画されており、collectible card game における AI 研究の範囲を拡大する。