[论文解读] Continuous Reinforcement Learning-based Dynamic Difficulty Adjustment in a Visual Working Memory Game

M. Rahimi, Hadi Moradi+2 more|arXiv (Cornell University)|Aug 24, 2023

Behavioral Health and Interventions被引用 6

一句话总结

本文提出了一种基于连续强化学习（RL）的动态难度调节（DDA）系统，用于视觉工作记忆（VWM）游戏，采用连续状态-动作空间根据玩家表现及先前试验结果调节难度。在52名参与者中进行评估，基于RL的DDA显著提升了玩家体验——通过胜任感、紧张感和情感状态衡量——同时提高了得分和胜率，并减少了随时间推移的表现下降，优于基于规则的方法。

ABSTRACT

Dynamic Difficulty Adjustment (DDA) is a viable approach to enhance a player's experience in video games. Recently, Reinforcement Learning (RL) methods have been employed for DDA in non-competitive games; nevertheless, they rely solely on discrete state-action space with a small search space. In this paper, we propose a continuous RL-based DDA methodology for a visual working memory (VWM) game to handle the complex search space for the difficulty of memorization. The proposed RL-based DDA tailors game difficulty based on the player's score and game difficulty in the last trial. We defined a continuous metric for the difficulty of memorization. Then, we consider the task difficulty and the vector of difficulty-score as the RL's action and state, respectively. We evaluated the proposed method through a within-subject experiment involving 52 subjects. The proposed approach was compared with two rule-based difficulty adjustment methods in terms of player's score and game experience measured by a questionnaire. The proposed RL-based approach resulted in a significantly better game experience in terms of competence, tension, and negative and positive affect. Players also achieved higher scores and win rates. Furthermore, the proposed RL-based DDA led to a significantly less decline in the score in a 20-trial session.

研究动机与目标

• 解决在认知类游戏中常见的复杂连续难度空间中，离散状态DDA方法的局限性。
• 通过基于实时表现反馈的动态难度调节，提升视觉工作记忆游戏中的玩家体验。
• 探究连续强化学习是否能在维持参与度和表现方面优于传统基于规则的DDA方法。
• 定义并实现一种用于视觉工作记忆任务中记忆难度的连续度量。
• 评估基于RL的DDA对玩家情感、胜任感以及长期表现稳定性的影响。

提出的方法

• 作者为记忆任务定义了一个连续难度度量，实现了对游戏挑战的精细控制。
• 设计了一种连续状态-动作RL框架，其中状态为玩家得分和先前难度，动作为下一难度级别。
• RL智能体基于累积表现趋势实时学习调节难度，以维持最佳挑战水平。
• 该方法使用连续动作空间，探索的难度搜索空间比离散方法更广。
• 策略网络通过连续控制算法（如SAC或类似方法，由上下文推断）进行训练，以最大化长期玩家体验。
• 通过被试内实验对系统进行评估，将基于RL的DDA与两种基于规则的DDA策略进行比较。

实验结果

研究问题

• RQ1 与基于规则的方法相比，基于连续RL的DDA系统是否能在视觉工作记忆游戏中维持更高的玩家参与度和表现稳定性？
• RQ2 RL中的连续动作空间是否比离散调整更有利于适应个体玩家的表现？
• RQ3 基于RL的DDA在多大程度上改善了玩家的主观体验，包括胜任感、紧张感和情感状态？
• RQ4 基于RL的DDA如何影响20轮试验会话中玩家得分的下降趋势？
• RQ5 所提出的连续难度度量是否有效捕捉了视觉工作记忆任务中的感知和认知负荷？

主要发现

• 基于RL的DDA显著提升了玩家体验得分，尤其在胜任感、紧张感以及正负向情感方面表现更优。
• 与基于规则的方法相比，玩家在基于RL的DDA下获得了显著更高的平均得分和胜率。
• 基于RL的方法显著降低了20轮试验会话中玩家得分的下降幅度，表明长期表现稳定性更优。
• 连续状态-动作建模实现了比离散基于规则系统更平滑、更具适应性的难度递进。
• 所提出的连续难度度量有效捕捉了记忆任务的认知负荷，并实现了对挑战水平的精确调节。
• RL智能体成功学习到调节难度以维持最佳挑战水平，避免了过度挫折与无聊。