[논문 리뷰] A Systematic Literature Review of Game-based Assessment Studies: Trends and Challenges

Manuel J. Gómez, José A. Ruipérez‐Valiente외 1명|arXiv (Cornell University)|2022. 07. 15.

Educational Games and Gamification인용 수 5

한 줄 요약

이 체계적 문헌 고찰은 2020년 이전에 발표된 디지털 게임 기반 평가(GBA)에 관한 65편의 실증 연구를 분석하여, GBA가 주로 STEM 내용, 인지 능력 및 소프트 스킬을 평가하는 데 사용되며 디지털 게임을 활용하고 있음을 밝혀냈다. 주요 기여는 작은 데이터 샘플, 재현성 부족, 알고리즘 정교성 부족 등의 핵심 과제를 규명한 것으로, 향후 연구를 위해 더 큰 데이터셋, 고도화된 학습 분석 및 오픈 과학 관행을 권장한다.

ABSTRACT

Technology has become an essential part of our everyday life, and its use in educational environments keeps growing. In addition, games are one of the most popular activities across cultures and ages, and there is ample evidence that supports the benefits of using games for assessment. This field is commonly known as game-based assessment (GBA), which refers to the use of games to assess learners' competencies, skills, or knowledge. This paper analyzes the current status of the GBA field by performing the first systematic literature review on empirical GBA studies. It is based on 65 research papers that used digital GBAs to determine: (1) the context where the study has been applied; (2) the primary purpose; (3) the domain of the game used; (4) game/tool availability; (5) the size of the data sample; (6) the computational methods and algorithms applied; (7) the targeted stakeholders of the study; and (8) what limitations and challenges are reported by authors. Based on the categories established and our analysis, the findings suggest that GBAs are mainly used in K-16 education and for assessment purposes, and that most GBAs focus on assessing STEM content, and cognitive and soft skills. Furthermore, the current limitations indicate that future GBA research would benefit from the use of bigger data samples and more specialized algorithms. Based on our results, we discuss current trends in the field and open challenges (including replication and validation problems), providing recommendations for the future research agenda of the GBA field.

연구 동기 및 목표

• 교육 현장에서의 실증적 게임 기반 평가(GBA) 연구 현황을 분석하기 위해.
• K-16 교육에서 GBA 응용의 주요 맥락, 영역 및 목적을 규명하기 위해.
• GBA 연구에서의 데이터 수집 방식, 계산 방법 및 도구 가용성 평가하기 위해.
• 저자들이 자주 언급하는 반복 가능성 및 확장성과 관련된 반복적인 과제와 과제를 밝혀내기 위해.
• 향후 GBA 연구를 위한 실천 가능한 권고사항 제공하기 위해(오픈 과학 관행 및 고도화된 알고리즘 모델링 포함)

제안 방법

• 2020년 이전에 발표된 디지털 GBA에 관한 65편의 동료 심사 통과 실증 연구를 대상으로 체계적 문헌 고찰을 수행하였다.
• 사전 정의된 포함 및 배제 기준에 따라 연구를 선별하고 분석하기 위해 PRISMA 지침을 적용하였다.
• 연구를 여덟 가지 차원(맥락, 주요 목적, 게임 영역, 도구 가용성, 데이터 샘플 크기, 계산 방법, 대상 이해관계자, 보고된 과제)에 따라 분류하였다.
• 주제 분석을 통해 GBA 연구의 추세와 반복적인 과제를 규명하기 위해 연구 결과를 종합하였다.
• 데이터 및 코드 가용성 및 도구 지속성 평가를 통해 연구의 재현성을 평가하였다.
• 발굴된 격차를 바탕으로 향후 연구 방향을 제안하였으며, 이는 더 큰 데이터셋, 고도화된 알고리즘, 이론적 프레임워크 포함

실험 결과

연구 질문

• RQ1 GBA 연구에서 지배적인 교육적 맥락과 대상 연령대는 무엇인가?
• RQ2 어떤 영역(예: STEM, 소프트 스킬, 사회과학 등)이 게임을 통해 가장 흔히 평가되는가?
• RQ3 GBA 연구에서 사용되는 데이터 샘플의 크기는 얼마나 되며, 일반적으로 어떤 계산 방법이 적용되는가?
• RQ4 GBA 도구와 데이터가 얼마나 공개적으로 제공되어 복제 및 재사용 가능한가?
• RQ5 현재 GBA 연구에서 자주 보고되는 과제와 과제는 무엇인가?

주요 결과

• 게임 기반 평가는 주로 K-16 교육 현장에서 적용되며, STEM 내용과 인지 능력 또는 소프트 스킬 평가에 집중되어 있다.
• 대부분의 연구에서 작은 데이터 샘플을 사용하며, 일반적으로 100명 미만의 참가자를 대상으로 하여 통계적 검정력과 일반화 가능성에 제한이 있다.
• 상당수의 연구가 간단한 점수 계산 또는 완료 지표와 같은 기본적인 계산 방법에 의존하며, 고도화된 학습 분석 또는 머신러닝의 사용은 제한적이다.
• 연구의 소수만이 도구, 데이터 또는 코드를 공개적으로 제공하며, 많은 경우 도구나 자원에 대한 링크가 시간이 지남에 따라 기능을 잃어 재현성에 악영향을 미친다.
• 심지어 심각한 게임 및 학習 분석 모델이 존재함에도 불구하고, GBA 전용 이론적 프레임워크의 부재가 뚜렷하다.
• 향후 GBA 연구는 더 큰 데이터셋, 더 정교한 알고리즘(예: 지식 추적, 딥 러닝) 및 오픈 과학 관행을 우선시하여 타당성과 확장성을 향상시켜야 한다.