[論文レビュー] Continuous Reinforcement Learning-based Dynamic Difficulty Adjustment in a Visual Working Memory Game

M. Rahimi, Hadi Moradi+2 more|arXiv (Cornell University)|Aug 24, 2023

Behavioral Health and Interventions被引用数 6

ひとこと要約

本稿では、視覚的作業記憶（VWM）ゲームのための連続的強化学習（RL）に基づく動的難易度調整（DDA）システムを提案する。連続的な状態-行動空間を用いて、プレイヤーのパフォーマンスと直前の試行結果に基づき難易度を動的に調整する。52名の参加者を対象に評価した結果、ルールベースの手法と比較して、能力、緊張、感情の各指標でプレイヤー体験が著しく向上した。スコアと勝率も上昇し、時間経過に伴うパフォーマンスの低下も軽減された。

ABSTRACT

Dynamic Difficulty Adjustment (DDA) is a viable approach to enhance a player's experience in video games. Recently, Reinforcement Learning (RL) methods have been employed for DDA in non-competitive games; nevertheless, they rely solely on discrete state-action space with a small search space. In this paper, we propose a continuous RL-based DDA methodology for a visual working memory (VWM) game to handle the complex search space for the difficulty of memorization. The proposed RL-based DDA tailors game difficulty based on the player's score and game difficulty in the last trial. We defined a continuous metric for the difficulty of memorization. Then, we consider the task difficulty and the vector of difficulty-score as the RL's action and state, respectively. We evaluated the proposed method through a within-subject experiment involving 52 subjects. The proposed approach was compared with two rule-based difficulty adjustment methods in terms of player's score and game experience measured by a questionnaire. The proposed RL-based approach resulted in a significantly better game experience in terms of competence, tension, and negative and positive affect. Players also achieved higher scores and win rates. Furthermore, the proposed RL-based DDA led to a significantly less decline in the score in a 20-trial session.

研究の動機と目的

• 認知ゲームに一般的に見られる複雑で連続的な難易度空間において、離散的状態のDDA手法に見られる限界を解消すること。
• リアルタイムのパフォーマンスフィードバックに基づき、動的に難易度を調整することで、視覚的作業記憶ゲームにおけるプレイヤー体験を向上させること。
• 連続的RLが、関与度とパフォーマンスの維持において、従来のルールベースのDDAアプローチを上回る可能性があるかどうかを検討すること。
• VWMタスクにおける記憶の難易度を連続的指標として定義・実装すること。
• RLベースのDDAがプレイヤーの感情、能力、長期的パフォーマンス安定性に与える影響を評価すること。

提案手法

• 著者らは、記憶タスクのための連続的難易度指標を定義し、ゲームの挑戦性を微細に制御可能にする。
• プレイヤーのスコアと直前の難易度を状態とし、次の難易度レベルを行動とする連続的状態-行動RLフレームワークを設計する。
• 累積的なパフォーマンスの傾向に基づき、最適な挑戦性を維持するように、リアルタイムで難易度を調整するRLエージェントを学習させる。
• 離散的手法よりも広い難易度探索空間をカバーできる連続的行動空間を用いる。
• 長期的なプレイヤー体験を最大化する目的で、連続的制御アルゴリズム（例：SACまたは類似手法、文脈から暗黙に示唆）を用いて方策ネットワークを訓練する。
• 被験者内実験により、RLベースのDDAと2つのルールベースのDDA戦略を比較して評価する。

実験結果

リサーチクエスチョン

• RQ1 連続的RLベースのDDAシステムは、ルールベースの手法と比較して、視覚的作業記憶ゲームにおいてより高いプレイヤー関与度とパフォーマンス安定性を維持できるか？
• RQ2 RLにおける連続的行動空間は、離散的調整と比較して、個々のプレイヤーのパフォーマンスに適応する能力が優れているか？
• RQ3 RLベースのDDAは、能力、緊張、感情の各主観的プレイヤー体験にどの程度向上効果をもたらすか？
• RQ4 RLベースのDDAは、20試行にわたるセッションにおけるプレイヤースコアの低下にどの程度影響を与えるか？
• RQ5 提案された連続的難易度指標は、VWMタスクにおける知覚的・認知的負荷を的確に捉えているか？

主な発見

• RLベースのDDAは、特に能力、緊張、および肯定的・否定的感情の各指標において、顕著に高いプレイヤー体験スコアを達成した。
• ルールベースの手法と比較して、RLベースのDDAでは平均スコアと勝率が顕著に向上した。
• 20試行にわたるセッションにおけるプレイヤースコアの低下が、RLベースのアプローチで顕著に軽減された。これは、長期的パフォーマンス安定性の向上を示している。
• 連続的状態-行動定式化により、離散的ルールベースシステムと比較して滑らかでより適応的な難易度進行が実現された。
• 提案された連続的難易度指標は、記憶タスクの認知的負荷を的確に捉え、挑戦レベルの精密な調整を可能にした。
• RLエージェントは、不満や退屈を避けるために、最適な挑戦性を維持するように難易度を調整する能力を効果的に学習した。