[論文レビュー] Evolutionary Approach to Collectible Card Game Arena Deckbuilding using Active Genes

Jakub Kowalski, Radosław Miernik|arXiv (Cornell University)|Jan 5, 2020

Artificial Intelligence in Games参考文献 12被引用数 9

ひとこと要約

本論文では、非決定的で未知のカードプールを特徴とする collectible card game（CCG）『Legends of Code and Magic』のアリーナモードにおけるデッキ構築戦略最適化を目的として、アクティブな遺伝子を用いた進化的アルゴリズムを提案する。各ドラフトにおける最も関連性の高い（アクティブな）遺伝子に限定して遺伝的演算子を適用することで、学習の高速化とベースライン手法に対する性能向上を達成しており、ノイズの多いフィットネス評価にもかかわらず、統計的に優れた勝率を達成するバリエーションが存在する。

ABSTRACT

In this paper, we evolve a card-choice strategy for the arena mode of Legends of Code and Magic, a programming game inspired by popular collectible card games like Hearthstone or TES: Legends. In the arena game mode, before each match, a player has to construct his deck choosing cards one by one from the previously unknown options. Such a scenario is difficult from the optimization point of view, as not only the fitness function is non-deterministic, but its value, even for a given problem instance, is impossible to be calculated directly and can only be estimated with simulation-based approaches. We propose a variant of the evolutionary algorithm that uses a concept of an active gene to reduce the range of the operators only to generation-specific subsequences of the genotype. Thus, we batched learning process and constrained evolutionary updates only to the cards relevant for the particular draft, without forgetting the knowledge from the previous tests. We developed and tested various implementations of this idea, investigating their performance by taking into account the computational cost of each variant. Performed experiments show that some of the introduced active-genes algorithms tend to learn faster and produce statistically better draft policies than the compared methods.

研究の動機と目的

• 収集可能なカードプールが不明で、フィットネス評価が非決定的である collectible card game（CCG）のアリーナモードにおいて、効果的なドラフト戦略を進化的に発見する課題に対処すること。
• 遺伝的演算子を関連する遺伝子サブセットに限定することで、CCGデッキ構築における進化的戦略の計算コストを低減し、学習効率を向上させること。
• 各ドラフトごとに、最も関連性の高い部分のみを更新するアクティブ遺伝子のバリエーションを設計・評価し、収束性と性能の向上を図ること。

提案手法

• 現在のドラフトに関連する動的遺伝子サブセット（「アクティブ遺伝子」）を導入し、遺伝的演算子をこのサブセットに限定して適用する。
• 全集団の選択ではなく、特定のサブセットからの親と子のマージを用いた選択を実施することで、世代を超えて関連知識を保持する。
• 非常に確率的な環境下でのデッキ性能を評価するため、シミュレーションベースのフィットネス推定を用いる。
• 再利用戦略と世代スケジューリングの違いにより、複数のアルゴリズムバリエーション（AG_weights、AG_weights/Kg、AG_weights/2d）を設計する。
• 同じドラフトを複数世代にわたって再利用することで、学習をバッチ処理し、必要なシミュレーション回数を削減しながら性能を維持する。
• 公平な比較を確保するため、計算コストの測定値を用い、世代数やシミュレーション回数を調整する。

実験結果

リサーチクエスチョン

• RQ1 各ドラフトにおけるアクティブ遺伝子に限定して遺伝的演算子を適用する進化的アルゴリズムが、CCGアリーナデッキ構築において標準的な進化的手法を上回る性能を発揮できるか？
• RQ2 非決定的でシミュレーションベースのフィットネス評価環境下で、アクティブ遺伝子の割合が学習速度と最終的性能に与える影響は何か？
• RQ3 アクティブ遺伝子を用いる場合、世代数と1世代あたりのゲームシミュレーション回数の最適なトレードオフは何か？
• RQ4 高いノイズを伴うフィットネス推定においても、アクティブ遺伝子のバリエーションはベースラインの進化的手法を上回る性能を達成できるか？
• RQ5 世代にわたってドラフトを再利用することは、CCGアリーナモードにおける学習プロセスの信頼性と効率性にどのように影響を与えるか？

主な発見

• AG_weights/2d や AG_weights/4d といった一部のアクティブ遺伝子バリエーションが、ベースラインの進化的手法（Evo_base）よりも統計的に優れた平均性能を達成した。
• AG_weights/2d はベースラインを上回る性能を示し、一貫した改善が見られたが、最良の性能を示したバリエーションではなかった。
• アクティブ遺伝子の割合が性能に影響することが判明し、AG_weights（約56%）のような低い割合の方が、AG_weights/4d（約95%）のような高い割合よりも一般的に優れた結果をもたらした。ただし、AG_weights ではこのトレンドが明確でなかった。
• AG_weights/Kg は、ドラフトの再利用回数が多く、1世代あたりの評価回数が不足していたため、学習に悪影響を及べ、性能が低かった。これは、1ドラフトあたりの十分な探索が学習に不可欠であることを示している。
• 標準的手法と比較して、必要なゲームシミュレーション回数を顕著に削減でき、シミュレーションエンジンを用いた場合、30秒未満でランダムプレーヤーと同等の性能に到達した。
• 全体として、アクティブ遺伝子に基づくアルゴリズムは、ベースライン手法よりも高速に学習し、より強力なドラフト戦略を生成した。これは、ノイズが多く変動が激しいCCG環境において、本手法の有効性を示している。