[論文レビュー] Mastering Strategy Card Game (Legends of Code and Magic) via End-to-End Policy and Optimistic Smooth Fictitious Play

Wei Xi, Yongxin Zhang+6 more|arXiv (Cornell University)|Mar 7, 2023

Artificial Intelligence in Games被引用数 5

ひとこと要約

本稿では、『Legends of Code and Magic』という二段階戦略トレーディングカードゲームをマスターするため、エンドツーエンドのディープレインフォースメントラーニング方策と、楽観的スムーズ仮想的反復法（OSFP）アルゴリズムを提案する。OSFP内にディープレインフォースメントラーニングを滑らかな最適反応ソルバーとして統合することで、ナッシュ均衡への収束が達成され、COG2022コンペティションの両トラックで1位を獲得した。これは、複数段階にわたるゲーム設定において優れたパフォーマンスを示している。

ABSTRACT

Deep Reinforcement Learning combined with Fictitious Play shows impressive results on many benchmark games, most of which are, however, single-stage. In contrast, real-world decision making problems may consist of multiple stages, where the observation spaces and the action spaces can be completely different across stages. We study a two-stage strategy card game Legends of Code and Magic and propose an end-to-end policy to address the difficulties that arise in multi-stage game. We also propose an optimistic smooth fictitious play algorithm to find the Nash Equilibrium for the two-player game. Our approach wins double championships of COG2022 competition. Extensive studies verify and show the advancement of our approach.

研究の動機と目的

• 『Legends of Code and Magic』のような、観測空間と行動空間が段階ごとに異なる複数段階戦略ゲームの課題に対処すること。
• デッキ構築フェーズと戦闘フェーズを統合した、1つのトレーニング可能なエンドツーエンド方策を構築すること。
• 大規模な2人ゼロサムゲームにおいて、ナッシュ均衡に効率的に収束する、楽観的スムーズ仮想的反復法（OSFP）を設計すること。
• 広範な実験とコンペティションベンチマークを通じて、本手法の優位性を検証すること。

提案手法

• 2人ゼロサムゲームにおいて、最後の反復収束保証を持つ、ディープレインフォースメントラーニングを滑らかな最適反応ソルバーとして統合した楽観的スムーズ仮想的反復法（OSFP）アルゴリズムを提案する。
• ゲームツリー空間におけるポリシーをツリープレックスとして表現し、確率質量制約を満たすように、複数の意思決定段階にわたるポリシー表現を可能にする。
• ナッシュ均衡を最適反応作用素の不動点として表現するため、変分不等式（VI）定式化を用いることで、効率的な最適化を可能にする。
• バイリニア型ペイオフ関数 $ u(x,y) = x^T A y $ を用い、$ A $ をペイオフ行列と定義し、VIベースの最適化のためのペイオフベクトル $ F(z) = (Ay, -A^T x)^T $ を定義する。
• 推論時に温度スケーリングとargmax推論を導入し、行動選択の精度を向上させる。$ \tau = 0^+ $ の場合、$ \tau = 1.0 $ と比較して53%の勝率を達成した。
• パラメータ化された展開戦略（p, n, m）を用いたMCTSの評価を行い、展開の深さと継続時間が高くなるほど勝率が向上するが、サンプル効率が低下することを確認した。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのディープレインフォースメントラーニング方策は、二段階戦略トレーディングカードゲームにおけるデッキ作成フェーズと戦闘フェーズを効果的に統合できるか？
• RQ2 提案された楽観的スムーズ仮想的反復法（OSFP）は、大規模で複数段階にわたるゲームにおいて、最後の反復収束を達成できるか？
• RQ3 本ゲーム設定において、同じ計算リソースと時間予算を前提とした場合、MCTSベースの計画法と純粋なモデルフリー学習法の性能はどのように比較できるか？
• RQ4 温度スケーリングやワンターンキル（OTK）といった後処理技術は、ポリシー性能にどの程度の向上効果をもたらすか？
• RQ5 本手法は、COG2022のようなコンペティションベンチマークにおいて、ルールベースまたは分離型アプローチを上回る性能を示せるか？

主な発見

• 提案手法は、COG2022コンペティションのLoCM 1.5およびLoCM 1.2トラックの両方で1位を獲得し、優れた競争性能を示した。
• 推論時に温度スケーリングを $ \tau = 0^+ $ に設定したことで、勝率が53%に向上し、$ \tau = 1.0 $ よりも優れた行動選択の精度を示した。
• パラメータ (0.00025, 400, 40) を用いたMCTSは、同じリソース予算下でベースラインに対して56%の勝率を達成し、より深い計画による性能向上を示した。
• 壁時計時間で測定した場合、MCTSによる性能向上は時間経過とともに減少した。これは、計画品質とサンプル効率のトレードオフを示している。
• 競合チームからOTKを削除したところ、勝率が2%低下した。これはOTKが強力なルールベースのヒューリスティックであることを示唆しているが、本モデルに対する影響は最小限にとどまり、優れた内在的HP計算能力を示している。
• 広範なアブレーションおよび比較実験により、エンドツーエンドポリシーとOSFPフレームワークが、ベースラインおよびルールベース手法に対して一貫的かつ測定可能な改善をもたらすことが確認された。