[논문 리뷰] New Metrics for Learning Evaluation in Digital Education Platforms

Gabriel Leitão, Juan G. Colonna외 3명|arXiv (Cornell University)|2020. 06. 25.

Online Learning and Analytics인용 수 5

한 줄 요약

이 논문은 전통적인 정답/오답 평가 방식을 뛰어넘어 반응 행동, 자신감, 작업 시간, 인지 부하를 포함한 새로운 학습 평가 지표 세트를 제안한다. 고등학교 평가에 적용된 지표들—특히 보안도와 질문지 이해 수준과 같은 복합 지표—는 이해도와 자신감이 낮은 학생들을 효과적으로 식별하여 대상별 개입을 가능하게 한다.

ABSTRACT

Technology applied in education can provide great benefits and overcome challenges by facilitating access to learning objects anywhere and anytime. However, technology alone is not enough, since it requires suitable planning and learning methodologies. Using technology can be problematic, especially in determining whether learning has occurred or not. Futhermore, if learning has not occured, technology can make it difficult to determine how to mitigate this lack of learning. This paper presents a set of new metrics for measuring student's acquired understanding of a content in technology-based education platforms. Some metrics were taken from the literature "as is", some were modified slighty, while others were added. The hypothesis is that we should not only focus on traditional scoring, because it only counts the number of hits/errors and does not consider any other aspect of learning. We applied all metrics to an assessment conducted in a high school class in which we show specific cases, along with metrics, where very useful information can be obtained from by combining several metrics. We conclude that the proposed metrics are promising for measuring student's acquired understanding of a content, as well as for teachers to measure student's weaknesses.

연구 동기 및 목표

• 단순히 정답/오답에 의존하는 전통적 평가 방법의 한계를 해결하고, 학생의 이해도, 자신감, 또는 인지적 노력 등을 포착하지 못하는 문제를 해결한다.
• 기술 향상된 학습 환경에서 의심, 반응 시간, 보안 수준 등의 깊이 있는 학습 차원을 반영하는 새로운 지표를 개발하고 구현한다.
• 학생의 반응 패턴에서 유래한 데이터 기반 통찰을 활용해 교사가 위험에 처한 학생을 식별하고 보완 교육이 필요한 주제를 우선순위 정렬할 수 있도록 한다.
• 형성적 평가와 요약 평가를 향상시키기 위해 학습 분석에 행동적 및 인지적 지표를 통합하여 보다 효과적인 피드백과 개입 전략을 제공한다.

제안 방법

• 학생 상호작용 데이터에서 유도된 다섯 가지 독립 지표를 제안하고 구현한다: 가중 점수(WS), 질문 의심(QD), 보안도(AD), 학생 반응 시간(SRT), 질서 수준(D).
• 두 가지 복합 지표를 개발한다: 질문 난이도, 반응 시간, 정확도를 바탕으로 한 질문 이해 수준(QCL); QCL과 AD를 통합한 질문지 이해 수준(QuCL).
• 학생 성과와 자신감 수준을 기반으로 주제 복습 순서를 정하기 위해 우선순위(P) 지표를 도입한다.
• 브라질의 고등학교 10학년 학생 33명이 참여한 실생활 40문항 다중선택 평가에 지표들을 적용한다.
• AD와 QuCL에 기반한 클러스터링을 통해 학생들을 네 가지 성과 사각형으로 분류하며, 세 번째 사각형은 낮은 이해도와 낮은 자신감을 나타낸다.
• 플랫폼이 실시간 데이터—예를 들어 답변 변경 기록, 질문당 시간, 예상 대비 실제 반응 시간—를 로깅할 수 있도록 하여 지표를 계산한다.

실험 결과

연구 질문

• RQ1 반응 행동과 자신감을 통합한 학습 평가 지표가 전통적 점수 방식을 뛰어넘어 학생의 이해도를 더 잘 탐지할 수 있는가?
• RQ2 질문 의심, 보안도, 반응 시간과 같은 지표들이 정답/오답 여부로는 포착되지 않는 숨겨진 학습 곤란을 어떻게 드러내는가?
• RQ3 질문지 이해 수준과 우선순위와 같은 복합 지표가 얼마나 효과적으로 개입이 필요한 학생을 식별하고 주제 우선순위를 안내하는가?
• RQ4 보안도와 질문지 이해 수준에 기반한 학생 클러스터링이 개별 학습 프로필을 드러내어 대상 맞춤 교육 전략을 안내할 수 있는가?

주요 결과

• 가중 점수 지표는 잘못된 답을 선택했지만 부분적인 이해가 있었던 학생을 식별하여 전통적 점수 방식보다 더 세밀한 학습 상태를 제공한다.
• AD와 QuCL 클러스터의 세 번째 사각형(낮은 이해도와 낮은 자신감)에 속한 학생들은 모든 지표에서 열악한 성과를 보였으며, 이는 대상 맞춤 지원이 매우 시급함을 시사한다.
• 질문 의심 지표는 빈번한 답변 변경이 낮은 자신감과 높은 인지 부하와 관련이 있음을 드러내었으며, 특히 난이도가 높은 질문에서 두드러졌다.
• 학생 반응 시간 분석을 통해 장시간 반응한 경우는 낮은 이해도와 높은 혼란 수준과 강하게 연관되어 있었으며, 특히 난이도가 높은 항목에서 두드러졌다.
• 우선순위 지표는 학생 성과와 자신감 수준을 기반으로 주제를 효과적으로 순위 매겨 교사가 가장 중요한 영역에 집중할 수 있도록 했다.
• 복합 지표인 QuCL이 AD와 함께 사용될 경우, 위험에 처한 학생을 식별하는 데 강력한 방법이 되었으며, 전체 학생의 15%가 낮은 이해도/낮은 자신감 범주에 속해 즉각적인 관심이 필요함을 확인했다.