[论文解读] A Systematic Literature Review of Game-based Assessment Studies: Trends and Challenges

Manuel J. Gómez, José A. Ruipérez‐Valiente+1 more|arXiv (Cornell University)|Jul 15, 2022

Educational Games and Gamification被引用 5

一句话总结

本篇系统文献综述分析了65项关于K-16教育中游戏化评估（GBA）的实证研究，揭示出GBA主要通过数字游戏用于评估STEM内容、认知能力及软技能。其主要贡献在于识别出关键挑战——数据样本量小、缺乏可复现性以及算法复杂度不足，同时建议未来研究应采用更大规模的数据集、更先进的学习分析技术以及开放科学实践。

ABSTRACT

Technology has become an essential part of our everyday life, and its use in educational environments keeps growing. In addition, games are one of the most popular activities across cultures and ages, and there is ample evidence that supports the benefits of using games for assessment. This field is commonly known as game-based assessment (GBA), which refers to the use of games to assess learners' competencies, skills, or knowledge. This paper analyzes the current status of the GBA field by performing the first systematic literature review on empirical GBA studies. It is based on 65 research papers that used digital GBAs to determine: (1) the context where the study has been applied; (2) the primary purpose; (3) the domain of the game used; (4) game/tool availability; (5) the size of the data sample; (6) the computational methods and algorithms applied; (7) the targeted stakeholders of the study; and (8) what limitations and challenges are reported by authors. Based on the categories established and our analysis, the findings suggest that GBAs are mainly used in K-16 education and for assessment purposes, and that most GBAs focus on assessing STEM content, and cognitive and soft skills. Furthermore, the current limitations indicate that future GBA research would benefit from the use of bigger data samples and more specialized algorithms. Based on our results, we discuss current trends in the field and open challenges (including replication and validation problems), providing recommendations for the future research agenda of the GBA field.

研究动机与目标

• 分析教育环境中实证游戏化评估（GBA）研究的现状。
• 识别K-16教育中GBA应用的主要情境、领域与目的。
• 评估GBA研究中的数据收集实践、计算方法及工具可用性。
• 揭示作者报告的重复性与可扩展性方面存在的常见局限与挑战。
• 为未来GBA研究提供可操作的建议，包括开放科学实践与高级算法建模。

提出的方法

• 对2020年以前发表的65篇关于数字游戏化评估的同行评审实证研究进行了系统文献综述。
• 依据预设的纳入与排除标准，应用PRISMA指南对研究进行筛选、选择与分析。
• 从八个维度对研究进行分类：情境、主要目的、游戏领域、工具可用性、数据样本规模、计算方法、目标利益相关者以及报告的局限性。
• 通过主题分析综合研究发现，识别GBA研究中的趋势与反复出现的挑战。
• 通过评估数据与代码的可获取性以及工具的持久性，评估研究的可复现性。
• 基于识别出的研究空白，提出未来研究方向，包括更大规模数据集、先进算法及理论框架。

实验结果

研究问题

• RQ1 GBA研究中的主导教育情境与目标年龄群体是什么？
• RQ2 哪些领域（如STEM、软技能、社会科学等）最常通过游戏进行评估？
• RQ3 GBA研究中使用的大致数据样本规模如何？通常采用哪些计算方法？
• RQ4 GBA工具与数据在多大程度上对公众开放，以支持复制与再利用？
• RQ5 当前GBA研究中最常报告的局限与挑战是什么？

主要发现

• 游戏化评估主要应用于K-16教育情境，重点集中于STEM内容以及认知或软技能的评估。
• 大多数研究使用小规模数据样本，通常少于100名参与者，限制了统计功效与结果的普遍适用性。
• 相当大比例的研究依赖基础计算方法，如简单评分或完成度指标，高级学习分析或机器学习技术应用有限。
• 仅少数研究公开提供其工具、数据或代码，且许多工具或资源链接随时间失效，损害了研究的可复现性。
• 尽管已有严肃游戏与学习分析的模型，但GBA领域仍明显缺乏特定的理论框架。
• 未来GBA研究应优先考虑更大规模数据集、更复杂的算法（如知识追踪、深度学习）以及开放科学实践，以提升研究的有效性与可扩展性。