[论文解读] Model Analysis: Assessing the dynamics of student learning

Lei Bao, Edward F. Redish|arXiv (Cornell University)|Jul 17, 2002

Innovative Teaching and Learning Methods参考文献 44被引用 24

一句话总结

本文提出模型分析法，一种认知建模方法，通过将学生的心理模型映射到选择题测验中，定量评估学习动态。通过定性研究识别出模型使用不一致的情况，并将其与FCI数据关联，该方法揭示了教学如何影响概念理解，表明学生在不同情境下往往不一致地应用模型。

ABSTRACT

In this paper we present a method of modeling and analysis that permits the extraction and quantitative display of detailed information about the effects of instruction on a class's knowledge. The method relies on a congitive model that represents student thinking in terms of mental models. Students frequently fail to recognize relevant conditions that lead to appropriate uses of their models. As a result they can use multiple models inconsistently. Once the most common mental models have been determined by qualitative research, they can be mapping onto a multiple choice test. Model analysis permits the interpretation of such a situation. We illustrate the use of our method by analyzing results from the FCI.

研究动机与目标

• 开发一种定量评估教学如何影响学生在物理学科中概念理解的方法。
• 解决模型使用不一致的挑战，即学生根据情境线索选择性地应用正确模型。
• 通过将认知模型与标准化测试数据关联，提取关于学生学习的详细定量洞察。
• 通过识别误解和模型不一致性，改进物理教育中的形成性评估。
• 使用力的概念测验（FCI）作为概念评估的案例研究，验证该方法。

提出的方法

• 基于识别常见心理模型的定性研究，构建学生思维的认知模型。
• 将识别出的心理模型映射到选择题项目中，为每个选项分配特定模型或模型组合。
• 使用模型分析解释学生的答题模式，识别出在何种条件下应用了哪些模型。
• 量化不同问题情境下模型使用频率及一致性，以评估学习动态。
• 将该方法应用于FCI数据，分析教学如何影响模型选择与应用。
• 使用统计分析检测模型不一致及特定模型误解的模式。

实验结果

研究问题

• RQ1 学生对力与运动的心理模型在教学影响下如何变化？
• RQ2 学生在不同问题情境中不一致地应用正确模型的程度有多大？
• RQ3 模型分析能否检测出标准化测试数据中细微但系统性的误解模式？
• RQ4 模型使用频率与一致性的高低如何与学生在FCI上的表现相关？
• RQ5 模型分析为特定教学策略的有效性提供了哪些见解？

主要发现

• 学生经常未能识别触发正确模型使用的相关物理条件，导致模型应用不一致。
• 模型分析显示，大量错误的FCI答题对应于特定且可识别的心理模型，而非随机猜测。
• 该方法成功量化了模型使用模式，表明学生常根据表面线索在不同模型间切换，而非基于概念理解。
• 不一致的模型使用是学生误解的主要因素，即使在正确回答部分问题的学生中也是如此。
• 分析表明，传统选择题评分方式因未考虑特定模型错误，低估了学生推理的复杂性。
• 与仅依赖正确/错误评分相比，模型分析提供了更细致、更准确的学生学习动态评估。