[論文レビュー] Deep Surrogate Assisted MAP-Elites for Automated Hearthstone Deckbuilding

Yulun Zhang, Matthew C. Fontaine+2 more|arXiv (Cornell University)|Dec 7, 2021

Sports Analytics and Performance被引用数 4

ひとこと要約

本論文では、オンラインのスラグレーストモデリングとMAP-Elitesを組み合わせることで、自動Hearthstoneデッキ作成を高速化するモデルベースの品質多様性アルゴリズムであるDeep Surrogate Assisted MAP-Elites (DSA-ME) を提案する。動的に生成された高品質なデッキデータに基づいて繰り返し訓練される深層ニューラルネットワークスラグレーストモデルを用い、MAP-Elitesをガイドすることで、優れたサンプル効率を達成し、Hearthstoneにおける品質多様性の分野で新たなSOTAを樹立した。

ABSTRACT

We study the problem of efficiently generating high-quality and diverse content in games. Previous work on automated deckbuilding in Hearthstone shows that the quality diversity algorithm MAP-Elites can generate a collection of high-performing decks with diverse strategic gameplay. However, MAP-Elites requires a large number of expensive evaluations to discover a diverse collection of decks. We propose assisting MAP-Elites with a deep surrogate model trained online to predict game outcomes with respect to candidate decks. MAP-Elites discovers a diverse dataset to improve the surrogate model accuracy, while the surrogate model helps guide MAP-Elites towards promising new content. In a Hearthstone deckbuilding case study, we show that our approach improves the sample efficiency of MAP-Elites and outperforms a model trained offline with random decks, as well as a linear surrogate model baseline, setting a new state-of-the-art for quality diversity approaches in automated Hearthstone deckbuilding. We include the source code for all the experiments at: https://github.com/icaros-usc/EvoStone2.

研究の動機と目的

• 複雑で変動が大きいゲーム（例：Hearthstone）における自動ゲームコンテンツ生成のサンプル効率を向上させること。
• 品質多様性アルゴリズムにおけるデッキ評価のための完全なゲームプレイシミュレーションによる高い計算コストを軽減すること。
• オンラインで学習する深層スラグレーストモデルが、手続き的コンテンツ生成におけるMAP-Elitesの性能と多様性を向上させることを検証すること。
• スラグレーストモデルの忠実度とデータ分布が、高次元で離散的な探索空間における探索効果に与える影響を調査すること。
• スラグレースト指導致し探索と実ゲーム評価を繰り返し行うことで、継続的なモデルの最適化が可能なスケーラブルな反復フレームワークを構築すること。

提案手法

• 本手法は二重ループアルゴリズムを採用する：内側のループでは、深層ニューラルネットワークスラグレーストモデル上でMAP-Elitesを実行し、多様で高性能なデッキ候補を生成する。
• 外側のループでは、内側ループで得られた上位デッキ（エリート）をSabberStoneゲームエンジンを用いて評価し、真の性能とプレイスタイルデータを収集する。
• 外側ループで得られた真のデータを用いて、スラグレーストモデルをオンラインで再訓練し、時間の経過とともに予測精度を向上させる。
• スラグレーストモデルは、与えられたデッキの勝率（目的）とゲーム時間／手札枚数（指標）を予測する深層ニューラルネットワークである。
• 各反復後、MAP-Elitesアーカイブをリセット（再初期化）することで、行動空間における新たな領域の探索を促進し、局所最適解への収束を防ぐ。
• 収束するまでこのプロセスを繰り返し、最終的に実ゲームプレイ評価に基づく高品質で多様なデッキのアーカイブを生成する。

Figure 1. An overview of the Deep Surrogate Assisted MAP-Elites (DSA-ME) algorithm applied to Hearthstone Deckbuilding: Our approach consists of an inner loop (in blue) and an outer loop (in red). In the inner loop, we exploit a deep surrogate model of the SabberStone simulator by searching for a di

実験結果

リサーチクエスチョン

• RQ1 オンラインで学習する深層スラグレーストモデルは、Hearthstoneデッキ作成におけるMAP-Elitesのサンプル効率を顕著に向上させることができるか？
• RQ2 ランダムに生成されたデッキで事前学習されたオフラインスラグレーストモデルと比較して、オンラインスラグレーストモデルの性能はどのように異なるか？
• RQ3 各反復でMAP-Elitesの内側ループアーカイブをリセットすることで、最終的なデッキコレクションのカバレッジと多様性が向上するか？
• RQ4 補助的カード特徴（例：マナコスト、テキスト）をスラグレーストモデルの入力に含めることで、一般化性能と予測精度がどの程度向上するか？
• RQ5 低精度のフィードフォワードニューラルネットワークスラグレーストモデルは、高次元で離散的なカードゲーム空間における品質多様性探索を効果的にガイドできるか？

主な発見

• DSA-MEは、モデルフリーのMAP-Elitesベースラインおよびランダムに生成されたデッキで事前学習されたオフラインスラグレーストモデルを上回り、自動Hearthstoneデッキ作成におけるQDスコアで新たなSOTAを達成した。
• 本手法は、最終アーカイブの行動空間における分布から示されるように、アグロ対コントロールなどの戦略的プレイスタイルのカバレッジと多様性が、ベースラインを上回った。
• 各反復でMAP-Elitesの内側ループアーカイブをリセットすることで、性能が顕著に向上し、リセットしないベースラインではQDスコアとカバレッジが低かった。これは、多様性探索における「死の効果」の有効性を確認するものである。
• DSA-MEの完全な実行で得られたデータを用いてスラグレーストモデルを学習すると高い予測精度が得られる一方、ランダムデッキで事前学習したオフライン学習では著しく性能が劣った。
• スラグレーストモデルの入力に補助的カード特徴（例：マナコスト、攻撃力、ライフ）を追加しても性能向上が得られず、これは現在のバッグオブカードエンコーディングまたはモデルの忠実度の限界を示唆している。
• 深層スラグレーストモデルは、高次元で離散的な探索空間におけるMAP-Elitesの指導致しに効果を発揮し、従来のガウス過程スラグレーストモデルを超えるスケーラビリティを示した。

Figure 2. Quantitative analysis of the elites in the archive with the surrogate model predicting objective and measures (without ancillary data). In the rightmost plots, the y-axis shows the percentage of filled cells in the archive that had average health difference larger than the corresponding va