[論文レビュー] Testing match-3 video games with Deep Reinforcement Learning

Nicholas Napolitano|arXiv (Cornell University)|Jun 30, 2020

Artificial Intelligence in Games参考文献 13被引用数 4

ひとこと要約

本稿では、マッチ3ゲームの自動テストにダブルディング・ディープQネットワーク（DDQN）を用いることを提案し、視覚的特徴を抽出して最適な手を選択することで、Jelly Juiceを効果的にプレイできるよう学習することを示している。DDQNはランダムプレーヤーよりも優れており、複数のレベルで人間の成功確率に近く、時間の経過とともに強く適応し、段階的な学習を示している。

ABSTRACT

Testing a video game is a critical step for the production process and requires a great effort in terms of time and resources spent. Some software houses are trying to use the artificial intelligence to reduce the need of human resources using systems able to replace a human agent. We study the possibility to use the Deep Reinforcement Learning to automate the testing process in match-3 video games and suggest to approach the problem in the framework of a Dueling Deep Q-Network paradigm. We test this kind of network on the Jelly Juice game, a match-3 video game developed by the redBit Games. The network extracts the essential information from the game environment and infers the next move. We compare the results with the random player performance, finding that the network shows a highest success rate. The results are in most cases similar with those obtained by real users, and the network also succeeds in learning over time the different features that distinguish the game levels and adapts its strategy to the increasing difficulties.

研究の動機と目的

• 深層強化学習を用いて、マッチ3ゲーム用の自動合成プレーヤーを開発すること。
• 深層強化学習エージェントが、ゲームプレイにおいて人間と同等の行動をとれるかどうかを評価すること。
• Jelly Juiceの難易度が異なるレベルにおいて、ダブルディング・ディープQネットワークが最適戦略を学習できるかを評価すること。
• 成功確率の観点から、DDQNエージェントのパフォーマンスをランダムプレーヤーと実際の人間ユーザーと比較すること。

提案手法

• 本研究では、視覚的ゲーム状態を処理し、最適な手を選択するために、ダブルディング・ディープQネットワーク（DDQN）を採用している。
• 畳み込みニューラルネットワークが、生のゲームフレームから特徴を抽出することで、エージェントがゲーム環境を解釈できるようにしている。
• 経験リプレイメモリが、学習の安定性とサンプル効率を向上させるために過去の経験を保存している。
• ネットワークは、Q値予測における過剰推定バイアスを低減するために、ダブルQ学習の更新ルールを使用している。
• 教師あり学習ブロックが、無効な手をフィルタリングし、選択前の行動確率を正規化している。
• ハイパーパramータは収束を最適化するために調整され、独自のゲーム設定および手のデータセットを用いて訓練が行われた。

実験結果

リサーチクエスチョン

• RQ1 ダブルディング・ディープQネットワークは、最小限の人的監視で、Jelly Juiceのようなマッチ3ゲームを効果的に学習できるか？
• RQ2 異なるレベルにおいて、DDQNエージェントのパフォーマンスはランダムプレーヤーと実際の人間プレーヤーと比べてどうか？
• RQ3 DDQNエージェントは、レベルの複雑さの増加に対応して、時間の経過とともに戦略を適応させているか？
• RQ4 DDQNエージェントは、人間プレーヤーの意思決定パターンをどの程度再現できるか？

主な発見

• レベル1では、DDQNエージェントの成功確率が91.3%に達し、ランダムプレーヤーの65%を著しく上回った。
• レベル21では、DDQNが74%の成功確率を達成したが、ランダムプレーヤーは54%、人間ユーザーは94.7%であった。
• 最も複雑なレベル（505）では、DDQNが9.33%の成功確率を達成し、ランダムプレーヤーの0%を上回り、人間のパフォーマンス（13.05%）に近づいた。
• エージェントは約150ゲームの経過でパフォーマンスが安定化し、レベル固有の課題に段階的に適応しながら学習を進めた。
• DDQNは、ほとんどのレベルで人間プレーヤーと類似した行動を示し、特に手の選択と戦略的計画において顕著だった。
• 高複雑度のレベルでもエージェントは頑健な性能を示し、他のマッチ3ゲームへの一般化可能性を示唆している。