[논문 리뷰] Mastery Learning in Practice: A (Mostly) Descriptive Analysis of Log Data from the Cognitive Tutor Algebra I Effectiveness Trial

Anita Israni, Adam Sales외 1명|arXiv (Cornell University)|2018. 02. 23.

Intelligent Tutoring Systems and Adaptive Learning참고 문헌 8인용 수 4

한 줄 요약

이 연구는 인지튜터 대수학 I(Cognitive Tutor Algebra I, CTAI) 프로그램의 대규모 무작위 대조 시험에서 수집한 로그 데이터를 분석하여 실무에서 마스터리 학습이 어떻게 구현되는지 조사한다. CTAI는 마스터리 기반 진행 방식으로 설계되었음에도 불구하고, 학생들은 자주 내용을 완전히 숙지하지 못한 채로 진행되었는데, 이는 주로 교사의 재배정, 문제 소진, 또는 조기 퇴출 덕분이었다. 특히 두 번째 해에 프로그램의 효과가 증가함에 따라 이러한 현상이 빈번해졌다. 재배정은 낮은 후측정 점수와 관련이 있었으며, 이는 마스터리 학습이 CTAI 성공의 핵심 메커니즘일 수 있음을 시사하지만, 교실 간 효과의 다양성은 뚜렷했다.

ABSTRACT

Mastery learning, the notion that students learn best if they move on from studying a topic only after having demonstrated mastery, sits at the foundation of the theory of intelligent tutoring. This paper is an exploration of how mastery learning plays out in practice, based on log data from a large randomized effectiveness trial of the Cognitive Tutor Algebra I (CTAI) curriculum. We find that students frequently progressed from CTAI sections they were working on without demonstrating mastery and worked units out of order. Moreover, these behaviors were substantially more common in the second year of the study, in which the CTAI effect was significantly larger. We explore the various ways students departed from the official CTAI curriculum, focusing on heterogeneity between years, states, schools, and students. The paper concludes with an observational study of the effect on post-test scores of teachers reassigning students out of their current sections before they mastered the requisite skills, finding that reassignment appears to lowers posttest scores--a finding that is fairly resilient to confounding from omitted covariates--but that the effect varies substantially between classrooms.

연구 동기 및 목표

• 학교와 교사가 인지튜터 대수학 I(Cognitive Tutor Algebra I, CTAI) 프로그램에서 마스터리 학습 모델을 얼마나 정확히 준수하는지 조사하기 위해.
• 표준 CTAI 교육과정에서의 이탈, 예를 들어 재배정과 순서를 뒤바꿔 진행하는 단원 학습의 패턴과 동기를 이해하기 위해.
• 교사의 재배정이 학생의 후측정 성적에 미치는 영향을 잠재적 혼동 요인을 통제한 상태에서 평가하기 위해.
• 주와 연도 간 사용 패턴, 교육과정 커스터마이제이션, 치료 효과 간의 관계를 탐색하기 위해.
• 관찰된 이행 변동성에도 불구하고 마스터리 학습이 CTAI의 효과성에 기여하는 핵심 메커니즘인지 판단하기 위해.

제안 방법

• CTAI의 일곱 개 주에서 실시된 무작위 대조 시험에서 수집한 로그 데이터를 사용하여, 학생의 소프트웨어 상호작용, 즉 소비 시간, 완료한 단위, 마스터리 상태 등을 추적하였다.
• 소규모 교실 표본 크기를 고려하여, 재배정이 후측정 점수에 미치는 교실별 영향을 추정하기 위해 다수준 모델링을 적용하였다.
• 주요 집단 분석과 관찰적 분석을 활용하여 재배정, 마스터리, 후측정 결과 간의 관계를 조사하였다.
• 연도, 주, 학교, 학생 집단 간 사용 패턴, 마스터리 비율, 재배정 빈도를 비교하였다.
• 단원 순서 및 섹션 완료 데이터를 활용하여 교육과정 커스터마이제이션과 순서 이탈을 분석하였으며, 표준 교육과정과 커스터마이즈된 교육과정을 구분하였다.
• 기술통계 및 추론 통계를 사용하여 사용 강도, 마스터리 비율, 재배정 시점의 변화를 다양한 맥락에서 평가하였다.

실험 결과

연구 질문

• RQ1 학생들이 마스터리가 입증되지 않은 상태로 CTAI 섹션을 진행하는 정도는 어느 정도이며, 이를 가능하게 하는 메커니즘은 무엇인가?
• RQ2 교사의 재배정 방식은 주, 학교, 교실 간 어떻게 다름과 그 동기는 무엇인가?
• RQ3 재배정과 학생의 후측정 성적 간의 관계는 어떠하며, 이 효과는 교실 맥락에 따라 어떻게 달라지는가?
• RQ4 사용 빈도가 감소하고 표준 교육과정 준수도 낮아졌음에도 불구하고 CTAI의 효과가 두 번째 해에 증가하는 이유는 무엇인가?
• RQ5 마스터리 학습은 CTAI의 효과성에 기여하는 핵심 메커니즘인가, 아니면 영향력 있는 비마스터리 기반 실천 방식이 성공에 기여하는가?

주요 결과

• 학생들은 자주 요구된 기술을 숙지하지 못한 채 CTAI 섹션을 진행했는데, 연도 1에서는 85%, 연도 2에서는 81%가 완료한 섹션에서 마스터리에 도달하지 못했다.
• 교사의 재배정은 마스터리 없이 진행을 가능하게 하는 일반적인 메커니즘으로, 특히 연도 2와 텍사스, 콈터랜드와 같은 주에서 더 흔했다.
• 재배정은 동료 학생들 대비 낮은 후측정 점수와 관련이 있었으며, 효과는 교실 간에 상당히 다양했고, 추정된 교실 수준 효과의 표준편차는 0.18였다.
• 연도 2에는 사용 빈도가 낮고 표준 교육과정 준수도 감소했음에도 불구하고 CTAI의 후측정 점수에 대한 영향은 연도 1보다 유의미하게 커졌으며, 이는 영향력 있는 유연성이 효과성 향상에 기여할 수 있음을 시사한다.
• 더 고급 교육과정 단위일수록 마스터리 비율이 낮아졌는데, 이는 내용의 복잡도가 증가할수록 마스터리 달성이 더 어려워짐을 의미한다.
• 재배정은 주로 교육과정을 앞당겨 진행하기 위해 가장 흔히 사용되었지만, 주 시험 일정이나 전체 반의 진행 속도를 재조정하기 위해 이루어지는 경우도 있었다.