[論文レビュー] Taking the Scenic Route: Automatic Exploration for Videogames

Zeping Zhan, Batu Aytemiz+1 more|arXiv (Cornell University)|Dec 7, 2018

Artificial Intelligence in Games参考文献 18被引用数 6

ひとこと要約

本稿では、人間のプレイテスト時間スケール内で多様なゲーム状態を最大限にカバーする自動探索戦略を提案し、ゲームに依存しない指標とゲーム固有の指標を用いて探索品質を評価する。実証的に、RRT や混沌のモンキー（chaos monkey）といった基本的なAI手法が人間の探索効率を模倣または上回ることを示し、ゲーム分析、テスト、検索用途に向けたゲームコンテンツの意味的マッピングを可能にする。

ABSTRACT

Machine playtesting tools and game moment search engines require exposure to the diversity of a game's state space if they are to report on or index the most interesting moments of possible play. Meanwhile, mobile app distribution services would like to quickly determine if a freshly-uploaded game is fit to be published. Having access to a semantic map of reachable states in the game would enable efficient inference in these applications. However, human gameplay data is expensive to acquire relative to the coverage of a game that it provides. We show that off-the-shelf automatic exploration strategies can explore with an effectiveness comparable to human gameplay on the same timescale. We contribute generic methods for quantifying exploration quality as a function of time and demonstrate our metric on several elementary techniques and human players on a collection of commercial games sampled from multiple game platforms (from Atari 2600 to Nintendo 64). Emphasizing the diversity of states reached and the semantic map extracted, this work makes productive contrast with the focus on finding a behavior policy or optimizing game score used in most automatic game playing research.

研究の動機と目的

• 人間のプレイテスト時間スケールと同等の時間内に、ビデオゲームの意味的状態空間を効率的にカバーする自動探索戦略を開発すること。
• ゲームに依存しない指標とゲーム固有の指標を併用して探索品質を定量化し、異なるプラットフォームやゲーム間での比較を可能にすること。
• 自動探索戦略が人間の探索と比較して、ゲーム状態の多様性とカバレッジの面でどれほど優れているかを評価すること。
• 代表的な状態空間マップの生成によって、ゲームモーメントインデキシング、意味的類似性の推論、自動アプリケーションテストといった後続の応用を可能にすること。
• 自己対戦から得られるデータを用いて知覚モデルを構築し、異なる戦略間で探索データを再利用可能にする可能性を検討すること。

提案手法

• 著者らは4つの探索品質指標を定義した：視覚埋め込みに基づくゲームに依存しない指標であるInception核ノルム、および状態訪問の多様性やシーンカバレッジを含む3つのゲーム固有指標。
• アーケードゲームからニンテンドー64まで、幅広い商業ゲームに対して、混沌のモンキー（ランダムな行動）、RRT（急速に探索するランダムツリー）、ハイブリッド戦略といった基本的な探索戦略を適用した。
• 探索中に収集したトラジェクトリを用いてInceptionネットワークを再訓練することで、自己対戦のループを用いてゲーム固有の知覚モデルをブートストラップした。
• 探索の進行具合はプレイ時間の関数として測定され、戦略と人間プレイヤー間での効率性を比較するため、指標を時間経過とともに追跡した。
• ハイブリッド戦略は、混沌のモンキーによる初期のランダム探索と、RRTによる構造的な拡張を組み合わせており、混沌のモンキーの結果をRRTツリーのシードとして使用した。
• すべての実験はBizHawkエミュレータを用いて実施され、スクリーンショット、行動、メモリスナップショットをログ記録することで、指標の計算に必要なデータを取得した。

実験結果

リサーチクエスチョン

• RQ1 同じ時間予算内で、自動探索戦略は人間のプレイテスト担当者と同等か、それ以上のゲームの状態空間カバレッジを達成できるか？
• RQ2 混沌のモンキー や RRT といった異なる探索戦略が、多様なゲームやプラットフォームにおいて、意味的状態の多様性という観点でどのように性能を発揮するか？
• RQ3 自動探索から得たデータを用いた自己対戦によるトレーニングによって、知覚モデルはどの程度向上できるか？
• RQ4 Inception核ノルムのような単一の、プラットフォームに依存しない指標を用いることで、視覚的・機械的複雑性が著しく異なるゲーム間で、探索進行を公平に比較可能か？
• RQ5 ランダム探索と構造的探索（例：混沌のモンキー + RRT）を組み合わせることで、単独の戦略よりも全体的なカバレッジが向上するか？

主な発見

• RRT や 混沌のモンキー といった基本的な自動探索戦略は、10～30分のプレイ時間内に人間のプレイテスト担当者と同等の探索品質を達成した。
• Inception核ノルム指標は、探索進行を的確に捉え、ゲーム間およびプラットフォーム間での探索品質比較を可能にした。
• 混沌のモンキーでRRTツリーを初期化するハイブリッド戦略は、個別の戦略を上回る性能を示し、ランダム探索と構造的探索を組み合わせることでカバレッジが向上することを示した。
• 自動収集されたトラジェクトリを用いた自己対戦トレーニングにより、知覚モデルの品質が顕著に向上し、その後の実行でより高速かつ深く探索できるようになった。
• 一部のゲーム（例：スーパーマリオワールド）では、短時間のうちに自動探索が人間の性能を上回る状態の多様性を達成した。
• 探索の有効性はゲームやプラットフォームによって顕著に異なることが判明し、視覚の多様性や初期の知覚モデルの品質に依存して性能が変動した。