[논문 리뷰] Let Me Try Again: Examining Replay Behavior by Tracing Students' Latent Problem-Solving Pathways

Shan Zhang, Siddhartha Pradhan외 3명|arXiv (Cornell University)|2026. 01. 03.

Educational Games and Gamification인용 수 0

한 줄 요약

논문은 Markov Chains와 Hidden Markov Models를 사용하여 7학년 학생들의 문제해결 경로와 FH2T에서의 재생 행동이 근접 및 원거리 대수학 학습 성과와 어떤 관련이 있는지 분석한다.

ABSTRACT

Prior research has shown that students' problem-solving pathways in game-based learning environments reflect their conceptual understanding, procedural knowledge, and flexibility. Replay behaviors, in particular, may indicate productive struggle or broader exploration, which in turn foster deeper learning. However, little is known about how these pathways unfold sequentially across problems or how the timing of replays and other problem-solving strategies relates to proximal and distal learning outcomes. This study addresses these gaps using Markov Chains and Hidden Markov Models (HMMs) on log data from 777 seventh graders playing the game-based learning platform of From Here to There!. Results show that within problem sequences, students often persisted in states or engaged in immediate replay after successful completions, while across problems, strong self-transitions indicated stable strategic pathways. Four latent states emerged from HMMs: Incomplete-dominant, Optimal-ending, Replay, and Mixed. Regression analyses revealed that engagement in replay-dominant and optimal-ending states predicted higher conceptual knowledge, flexibility, and performance compared with the Incomplete-dominant state. Immediate replay consistently supported learning outcomes, whereas delayed replay was weakly or negatively associated in relation to Non-Replay. These findings suggest that replay in digital learning is not uniformly beneficial but depends on timing, with immediate replay supporting flexibility and more productive exploration.

연구 동기 및 목표

• FH2T에서 학생들이 문제 내 및 문제 간에 문제해결 전략 사이를 어떻게 전이하는지 조사한다.
• 완전한 문제 시퀀스로부터 드러나는 잠재적 문제해결 상태를 식별한다.
• 잠재적 상태가 근접 및 원거리 학습 성과를 어떻게 예측하는지 검토한다.
• 재생 타이밍(즉시 vs. 지연)이 학습 성과와 어떻게 관련되는지 평가한다.

제안 방법

• 12개의 표기된 시도 상태를 사용하여 문제 내 및 문제 간 전이를 일阶 Markov 체인으로 모델링한다.
• 12 시도 클래스의 시퀀스로부터 잠재 상태를 식별하기 위해 5-겹 교차검증 및 BIC를 사용하여 Hidden Markov Models를 적용한다.
• 잠재 상태를 해독하고 방출 분포와 전이 행렬을 분석하여 동적 경로를 해석한다.
• 잠재 상태를 근접 포스트 테스트 구성요소와 원거리 상태 테스트에 연관시키기 위해 상태 비율과 런 길이를 계산한다.
• 사전 점수와 참여 변수들을 통제하여 상태 참여도를 학습 성과와 관련시키기 위해 회귀 분석(OLS)을 사용한다.
• 재생을 Immediate, Delayed, Non-Replay로 분해하고 이들의 결과와의 연관성을 비교한다.

Figure 1 . Example Problem 14 from FH2T with sample solution steps (Start State: $47+33+b+52+68$ Goal State: $99+b+101$

실험 결과

연구 질문

• RQ1 RQ 1: 학생들이 문제 내외에서 서로 다른 문제해결 전략 사이를 어떻게 전이하는가?
• RQ2 RQ 2: 완전한 문제 시퀀스를 모델링할 때 어떤 잠재적 문제해결 상태가 나타나고 이 상태들 사이에서 어떤 전이가 일어나는가?
• RQ3 RQ 3: 잠재적 문제해결 상태가 근접 및 원거리 학습 성과를 어떻게 예측하는가?
• RQ4 RQ 4: 학생들의 재생 행동(즉시 vs. 지연)이 근접 및 원거리 학습 성과와 어떻게 연관되는가?

주요 결과

• replay-dominant 및 optimal-ending 잠재 상태가 incomplete-dominant 상태에 비해 개념 지식, 유연성, 상태-테스트 성과가 더 높다고 예측한다.
• 문제 간 분석은 replay-dominant 및 optimal-ending 패턴을 가진 상태가 FDR 보정 후에도 여러 결과와 양의 연관이 있음을 보인다.
• 즉시 재생은 일관되게 더 나은 학습 성과와 연관되는 반면, 지연 재생은 Non-Replay와의 관계에서 약하거나 음의 연관을 보인다.
• 문제 내 전이는 상태 및 재생 시퀀스의 지속성을 보이고, 문제 간 전이는 문제들 간 전략의 강한 지속성을 보인다.
• HMMs는 Mixed, Incomplete-dominant, Optimal-ending, Replay-dominant의 네 가지 잠재 상태를 식별했으며, 서로 다른 전이 패턴과 런 길이를 가진다.

(a) Within-problem Transition Probabilities