[論文レビュー] A Systematic Literature Review of Game-based Assessment Studies: Trends and Challenges

Manuel J. Gómez, José A. Ruipérez‐Valiente+1 more|arXiv (Cornell University)|Jul 15, 2022

Educational Games and Gamification被引用数 5

ひとこと要約

本系統的文献レビューでは、2020年以前に発表された65件のゲームベース評価（GBA）に関する実証的研究を分析し、GBAが主にSTEM分野の内容、認知的スキル、ソフトスキルの評価にデジタルゲームを用いて行われていることが明らかになった。主な貢献は、小規模なデータサンプル、再現性の欠如、アルゴリズムの洗練度の低さといった重要な課題を同定し、今後の研究において大規模なデータセット、高度な学習分析、オープンサイエンスの実践を推奨することにある。

ABSTRACT

Technology has become an essential part of our everyday life, and its use in educational environments keeps growing. In addition, games are one of the most popular activities across cultures and ages, and there is ample evidence that supports the benefits of using games for assessment. This field is commonly known as game-based assessment (GBA), which refers to the use of games to assess learners' competencies, skills, or knowledge. This paper analyzes the current status of the GBA field by performing the first systematic literature review on empirical GBA studies. It is based on 65 research papers that used digital GBAs to determine: (1) the context where the study has been applied; (2) the primary purpose; (3) the domain of the game used; (4) game/tool availability; (5) the size of the data sample; (6) the computational methods and algorithms applied; (7) the targeted stakeholders of the study; and (8) what limitations and challenges are reported by authors. Based on the categories established and our analysis, the findings suggest that GBAs are mainly used in K-16 education and for assessment purposes, and that most GBAs focus on assessing STEM content, and cognitive and soft skills. Furthermore, the current limitations indicate that future GBA research would benefit from the use of bigger data samples and more specialized algorithms. Based on our results, we discuss current trends in the field and open challenges (including replication and validation problems), providing recommendations for the future research agenda of the GBA field.

研究の動機と目的

• 教育現場における実証的ゲームベース評価（GBA）研究の現状を分析すること。
• K-16教育におけるGBA応用の主な文脈、分野、目的を特定すること。
• GBA研究におけるデータ収集の実践、計算手法、ツールの可用性を評価すること。
• 著者らが報告する繰り返しの困難さやスケーラビリティに関する課題を明らかにすること。
• 今後のGBA研究に向けた実行可能な提言を提供すること、特にオープンサイエンスの実践と高度なアルゴリズムモデリングを含む。

提案手法

• 2020年以前に発表されたデジタルGBAに関する65件の査読済み実証的研究を対象とした系統的文献レビューを実施した。
• PRISMA指針に従い、事前に定めた含む・含まない基準に基づいて研究をスクリーニング、選別、分析した。
• 文脈、主たる目的、ゲーム分野、ツールの可用性、データサンプルサイズ、計算手法、対象ステークホルダー、報告された制限の8つの次元に沿って研究を分類した。
• テーマ分析を用いて、GBA研究におけるトレンドと繰り返しの課題を特定するための知見を統合した。
• データとコードの可用性、ツールの持続可能性を評価することで、研究の再現性を評価した。
• 識別されたギャップに基づき、今後の研究の方向性を提言した。具体的には、大規模なデータセット、高度なアルゴリズム、理論的枠組みの構築を含む。

実験結果

リサーチクエスチョン

• RQ1 GBA研究における支配的な教育的文脈とターゲット年齢層は何か？
• RQ2 STEM、ソフトスキル、社会科学など、ゲームを用いて最も頻繁に評価される分野はどれか？
• RQ3 GBA研究で使用されるデータサンプルのサイズはどの程度で、一般的にどのような計算手法が用いられているか？
• RQ4 GBAツールやデータが再現性や再利用のためにどれほど公開されているか？
• RQ5 現在のGBA研究で最も頻繁に報告される制限や課題は何か？

主な発見

• ゲームベース評価は主にK-16教育現場で実施されており、STEM分野の内容および認知的・ソフトスキルの評価に強く注目されている。
• 多くの研究が、100名未満の参加者を対象とした小規模なデータサンプルを用いており、統計的パワーと一般化可能性に制限がある。
• 多くの研究が、単純なスコアリングや達成度メトリクスといった基本的な計算手法に依存しており、高度な学習分析や機械学習の活用は限定的である。
• 研究の僅か数％しかツール、データ、コードを公開しておらず、多くのリンクが時間とともに無効化されるため、再現性が損なわれている。
• シリアスゲームや学習分析のための既存モデルがあるにもかかわらず、GBAに特化した理論的枠組みの欠如が顕著である。
• 今後のGBA研究は、大規模なデータセット、より洗練されたアルゴリズム（例：知識トレース、ディープラーニング）、オープンサイエンスの実践を優先すべきである。