[논문 리뷰] Continuous Reinforcement Learning-based Dynamic Difficulty Adjustment in a Visual Working Memory Game

M. Rahimi, Hadi Moradi외 2명|arXiv (Cornell University)|2023. 08. 24.

Behavioral Health and Interventions인용 수 6

한 줄 요약

이 논문은 시각적 작업 기억(VWM) 게임을 위한 연속 강화학습(RL)-기반 동적 난이도 조정(DDA) 시스템을 제안한다. 연속 상태-행동 공간을 사용하여 플레이어 성과와 이전 시도 결과에 기반해 난이도를 적응적으로 조정한다. 52명의 참가자를 대상으로 평가한 결과, 규칙 기반 방법과 비교해 RL 기반 DDA는 능력, 긴장감, 정서 상태를 포함한 플레이어 경험을 크게 향상시켰으며, 점수와 승률을 높이고 시간에 따른 성능 저하를 줄였다.

ABSTRACT

Dynamic Difficulty Adjustment (DDA) is a viable approach to enhance a player's experience in video games. Recently, Reinforcement Learning (RL) methods have been employed for DDA in non-competitive games; nevertheless, they rely solely on discrete state-action space with a small search space. In this paper, we propose a continuous RL-based DDA methodology for a visual working memory (VWM) game to handle the complex search space for the difficulty of memorization. The proposed RL-based DDA tailors game difficulty based on the player's score and game difficulty in the last trial. We defined a continuous metric for the difficulty of memorization. Then, we consider the task difficulty and the vector of difficulty-score as the RL's action and state, respectively. We evaluated the proposed method through a within-subject experiment involving 52 subjects. The proposed approach was compared with two rule-based difficulty adjustment methods in terms of player's score and game experience measured by a questionnaire. The proposed RL-based approach resulted in a significantly better game experience in terms of competence, tension, and negative and positive affect. Players also achieved higher scores and win rates. Furthermore, the proposed RL-based DDA led to a significantly less decline in the score in a 20-trial session.

연구 동기 및 목표

• 복잡한 연속 난이도 공간을 가진 인지 게임에서 일반적인 이산 상태 DDA 방법의 한계를 해결하기 위해.
• 실시간 성과 피드백 기반으로 난이도를 동적으로 조정하여 시각적 작업 기억 게임에서 플레이어 경험을 향상시키기 위해.
• 연속 강화학습이 전통적인 규칙 기반 DDA 접근 방식보다 참여도와 성능 유지에 더 우수한 성능을 보일 수 있는지 탐색하기 위해.
• VWM 작업에서의 기억 난이도를 측정할 수 있는 연속적 지표를 정의하고 구현하기 위해.
• RL 기반 DDA가 플레이어 정서, 능력감, 장기적인 성능 안정성에 미치는 영향을 평가하기 위해.

제안 방법

• 저자는 기억 작업에 대한 연속 난이도 지표를 정의하여 게임 난이도에 대한 정교한 제어를 가능하게 하였다.
• 플레이어의 점수와 이전 난이도를 상태로, 다음 난이도 수준을 행동으로 하는 연속 상태-행동 RL 프레임워크를 설계하였다.
• 누적된 성과 추세를 기반으로 최적의 도전도를 유지하기 위해 실시간으로 난이도를 조정하는 데에 RL 에이전트가 학습하였다.
• 이 방법은 이산 방법보다 더 넓은 난이도 탐색 공간을 탐색하기 위해 연속 행동 공간을 사용하였다.
• 정책 네트워크는 장기적인 플레이어 경험을 최대화하기 위해 연속 제어 알고리즘(SAC 또는 유사한 알고리즘, 맥락상 암시됨)을 사용해 훈련되었다.
• 내부 주제 실험을 통해 RL 기반 DDA를 두 가지 규칙 기반 DDA 전략과 비교 평가하였다.

실험 결과

연구 질문

• RQ1 연속 RL 기반 DDA 시스템은 규칙 기반 방법과 비교해 시각적 작업 기억 게임에서 더 높은 플레이어 참여도와 성능 안정성을 유지할 수 있는가?
• RQ2 RL에서의 연속 행동 공간은 이산 조정보다 개별 플레이어 성과에 더 나은 적응성을 제공하는가?
• RQ3 RL 기반 DDA는 능력감, 긴장감, 정서 상태를 포함한 주관적 플레이어 경험에 어느 정도 향상 효과를 미치는가?
• RQ4 RL 기반 DDA는 20회 시험 세션 동안 플레이어 점수의 감소에 어떤 영향을 미치는가?
• RQ5 제안된 연속 난이도 지표는 VWM 작업에서의 인지 부하와 인지적 부담을 효과적으로 반영하는가?

주요 결과

• RL 기반 DDA는 특히 능력감, 긴장감, 긍정적 및 부정적 정서 상태에서 유의미하게 높은 플레이어 경험 점수를 기록하였다.
• 플레이어는 RL 기반 DDA 하에서 규칙 기반 방법과 비교해 유의미하게 높은 평균 점수와 승률을 기록하였다.
• RL 기반 접근 방식은 20회 시험 세션 동안 플레이어 점수의 감소가 유의미하게 줄어들어 장기적인 성능 안정성이 향상됨을 보여주었다.
• 연속 상태-행동 공식화는 이산 규칙 기반 시스템보다 더 부드럽고 적응적인 난이도 진행을 가능하게 하였다.
• 제안된 연속 난이도 지표는 기억 작업의 인지 부하를 효과적으로 반영하였으며, 난이도 수준의 정밀 조정을 가능하게 하였다.
• RL 에이전트는 최적의 도전도를 유지하기 위해 난이도를 조절하는 데 성공했으며, 과도한 좌절감이나 지루함을 방지하였다.