[논문 리뷰] Model Analysis: Assessing the dynamics of student learning

Lei Bao, Edward F. Redish|arXiv (Cornell University)|2002. 07. 17.

Innovative Teaching and Learning Methods참고 문헌 44인용 수 24

한 줄 요약

이 논문은 학생의 정서적 모델을 다중선택형 평가에 매핑하여 학습 역학을 정량적으로 평가하는 모델 분석이라는 인지 모델링 방법을 소개한다. 질적 연구를 통해 모순된 모델 사용을 특정하고 이를 FCI 데이터와 연계함으로써, 지도가 개념적 이해에 어떻게 영향을 미치는지 드러낸다. 이는 학생들이 일반적으로 다양한 맥락에서 일관되지 않게 모델을 적용함을 보여준다.

ABSTRACT

In this paper we present a method of modeling and analysis that permits the extraction and quantitative display of detailed information about the effects of instruction on a class's knowledge. The method relies on a congitive model that represents student thinking in terms of mental models. Students frequently fail to recognize relevant conditions that lead to appropriate uses of their models. As a result they can use multiple models inconsistently. Once the most common mental models have been determined by qualitative research, they can be mapping onto a multiple choice test. Model analysis permits the interpretation of such a situation. We illustrate the use of our method by analyzing results from the FCI.

연구 동기 및 목표

• 지침이 물리학에서 학생의 개념적 이해에 어떻게 영향을 미치는지 정량적으로 평가하는 방법을 개발하는 것.
• 학생들이 맥락적 신호에 따라 올바른 모델을 선택적으로 적용함으로써 발생하는 일관성 없는 모델 사용 문제를 다루는 것.
• 표준화된 시험 데이터와 인지 모델을 연계하여 학생 학습에 대한 세부적이고 정량적인 통찰을 도출하는 것.
• 오류 모델과 모델 일관성 문제를 식별함으로써 물리 교육에서 형성 평가를 향상시키는 것.
• 모델 분석 방법을 사례 연구로 활용하여 힘 개념 시험(Force Concept Inventory, FCI)을 통해 검증하는 것.

제안 방법

• 일반적인 정신 모델를 특정하는 질적 연구를 기반으로 학생 사고의 인지 모델을 구축하는 것.
• 식별된 정신 모델을 다중선택형 시험 항목에 매핑하여 각 응답 선택지를 특정 모델 또는 모델 조합에 할당하는 것.
• 모델 분석을 통해 학생의 응답 패턴을 해석하고, 어떤 모델이 언제 어떤 조건에서 적용되었는지 식별하는 것.
• 다양한 문제 맥락에서 모델 사용 빈도와 일관성을 정량화하여 학습 역학을 평가하는 것.
• 지침이 모델 선택과 적용에 어떻게 영향을 미치는지 분석하기 위해 FCI 데이터에 이 방법을 적용하는 것.
• 통계적 분석을 통해 모델 일관성 부족과 모델별 오개념의 패턴을 탐지하는 것.

실험 결과

연구 질문

• RQ1 지침에 따라 학생들의 힘과 운동에 대한 정신 모델은 어떻게 변화하는가?
• RQ2 학생들이 다양한 문제 맥락에서 올바른 모델을 일관되게 적용하지 못하는 정도는 어느 정도인가?
• RQ3 모델 분석은 표준화된 시험 데이터에서 미세하지만 체계적인 오개념 패턴을 탐지할 수 있는가?
• RQ4 모델 사용의 빈도와 일관성은 FCI 성취도와 어떤 관련이 있는가?
• RQ5 모델 분석은 특정 지도 전략의 효과성에 대해 어떤 통찰을 제공하는가?

주요 결과

• 학생들은 올바른 모델을 유발하는 관련 물리적 조건을 인식하지 못해 모델를 일관되지 않게 적용한다.
• 모델 분석은 FCI에서 잘못된 응답의 상당 부분이 무작위 추측이 아니라 특정하고 식별 가능한 정신 모델과 관련되어 있음을 드러냈다.
• 이 방법은 모델 사용 패턴을 성공적으로 정량화하여, 학생들이 개념적 이해보다는 표면적 신호에 따라 모델을 바꾸는 경향이 있음을 보여주었다.
• 일관되지 않은 모델 사용은 학생들의 오개념의 주요 원인이었으며, 일부 질문에 정답을 맞춘 학생들 사이에서도 나타났다.
• 분석은 전통적인 다중선택형 시험 채점 방식이 모델 기반 오류를 고려하지 않기 때문에 학생 사고의 복잡성을 과소평가하고 있음을 보여주었다.
• 표준적인 정답/오답 채점 방식만으로는 불충분한 바, 모델 분석은 학생 학습 역학을 더 세밀하고 정확하게 평가할 수 있었다.