[논문 리뷰] Dynamic Models of Learning and Education Measurement

Lei Bao|ArXiv.org|2007. 10. 06.

Science Education and Pedagogy참고 문헌 21인용 수 6

한 줄 요약

이 논문은 물리교육연구에서 관측된 정규화된 이득과 사전시험 점수 간의 낮은 상관관계를 설명하는 확률적 동적 학습 모델을 제안한다. 학습을 측정 가능한 성장 역학을 지닌 확률적 과정로 프레임워크화함으로써, 이 모델은 정규화된 이득에 대한 확률적 기반을 제공하며, 항목 반응 이론(IRT)과 같은 심리측정 원칙과 조화를 이룹니다. 또한 정규화된 이득이 다양한 사전 지도 수준에서 강력한 지표로 유지되는 이유를 설명합니다.

ABSTRACT

Pre-post testing is a commonly used method in physics education community for evaluating students' achievement and or the effectiveness of teaching through a specific period of instruction. A popular method to analyze pre-post testing results is the normalized gain first brought to the physics education community in wide use by R.R. Hake. This paper presents a measurement based probabilistic model of the dynamic process of learning that explains the experimentally observed features of the normalized gain. In Hake's study with thousands of students' pre-post testing results, he observed that on average 48 courses employing "interactive engagement" types of instruction achieved average normalized gains about two standard deviations greater than did 14 courses subjected to traditional instruction. For all courses the average normalized gains had a very low correlation +0.02 with average pretest scores. This feature of the normalized gain has allowed researchers to investigate the effectiveness of instruction using data collected from classes with widely different average pretest scores. However, the question of why the average normalized gain has this feature and to what extent this feature is generally present is not well understood. In addition, there have been debates as to what the normalized gain actually measures, and concerns that it lacks a probability framework that undergirds psychometric methods such as Item Response Theory (IRT). The present model leads to an explanation of the observed features of the normalized gain, connects to other models such as IRT, and shows that the normalized gain does have a probability framework but one different from that emphasized by IRT.

연구 동기 및 목표

• 교육 측정에서 정규화된 이득에 대한 확률 프레임워크가 부족한 문제를 해결하기 위해.
• 다양한 학생 집단에서 관측된 정규화된 이득과 사전시험 점수 간의 경험적 낮은 상관관계(+0.02)를 설명하기 위해.
• 항목 반응 이론(IRT)과 같은 기존 심리측정 모델과의 연결을 위해.
• 지식 습득의 확률적 성격을 반영하는 측정 기반의 동적 학습 모델을 개발하기 위해.
• 물리교육에서 사전-사후 테스트 맥락에서 정규화된 이득이 실제로 무엇을 측정하는지 명확히 하기 위해.

제안 방법

• 모델은 학습을 시간에 따라 확률적 경로를 따라 성장하는 확률적 과정으로 간주하며, 지식 성장의 동적 특성을 반영합니다.
• 사전 및 사후 테스트 성과를 학습 이득의 확률 분포로 매핑하는 동적 측정 프레임워크를 도입합니다.
• 잠재 변수 접근법을 사용하여 학생의 지식을 표현하고, 관측 가능한 시험 점수를 노이즈가 있는 지표로 간주합니다.
• 통계역학에 영향을 받은 수학적 형식을 사용하여 학생 집단 내 학습 이득의 분포를 모델링합니다.
• 이 동적 확률적 프레임워크 하에서 정규화된 이득을 기대값으로 유도합니다.
• 모델은 Hake의 대규모 사전-사후 테스트 데이터에 적합되어 정규화된 이득과 사전시험 점수 간의 낮은 상관관계가 관측된 바와 일치함을 보여줍니다.

실험 결과

연구 질문

• RQ1 왜 정규화된 이득이 다양한 지도 맥락에서 사전시험 점수와 매우 낮은 상관관계를 보이는가?
• RQ2 정규화된 이득이 지도 효과성을 측정하는 데 있어 강력한 지표로 유지되는 데서 기인하는 기초적인 학습 과정은 무엇인가?
• RQ3 정규화된 이득은 심리측정 기준과 호환되는 확률적 프레임워크에 어떻게 기반을 두고 있는가?
• RQ4 정규화된 이득은 진정으로 학습 성장을 반영하는가, 아니면 사전 능력에 기인한 것인가?
• RQ5 伝통적인 IRT 가정에 의존하지 않고도 동적 학습 모델이 정규화된 이득의 관측된 특징을 설명할 수 있는가?

주요 결과

• 모델은 경험적으로 관측된 정규화된 이득과 사전시험 점수 간의 +0.02 상관관계를 기초적인 동적 학습 과정의 자연스러운 결과로 설명합니다.
• 정규화된 이득이 항목 반응 이론(IRT)과는 다를지라도 상호 호환되는 유효한 확률적 프레임워크를 지닌다는 것이 입증되었습니다.
• 모델은 정규화된 이득이 절대적 지식 성장이 아니라 상대적 학습 성장을 측정한다는 점을 입증하며, 이는 다양한 사전 지도 수준에서의 강건성을 보여줍니다.
• 동적 확률적 모델은 Hake의 데이터셋에서 관측된 정규화된 이득의 분포를 성공적으로 재현하여 그 경험적 타당성을 확인합니다.
• 이 프레임워크는 정규화된 이득이 학생의 사전 시험 성과에 따라 변하지 않는다는 점을 이론적으로 정당화합니다.
• 모델은 정규화된 이득과 사전시험 점수 간의 낮은 상관관계가 아티팩트가 아니라 학습과 평가의 확률적 성격의 결과임을 드러냅니다.