[論文レビュー] Model Analysis: Assessing the dynamics of student learning

Lei Bao, Edward F. Redish|arXiv (Cornell University)|Jul 17, 2002

Innovative Teaching and Learning Methods参考文献 44被引用数 24

ひとこと要約

本稿では、学生の認知的マインドモデルを複数選択式の評価にマッピングすることで学習ダイナミクスを定量的に評価する、モデル分析という認知モデリング手法を紹介する。定性的研究による不一致なモデル使用の特定とFCIデータとの関連付けを通じて、指導が概念的理解に与える影響が明らかになり、学生が文脈に応じてモデルを一貫して適用しないことが示された。

ABSTRACT

In this paper we present a method of modeling and analysis that permits the extraction and quantitative display of detailed information about the effects of instruction on a class's knowledge. The method relies on a congitive model that represents student thinking in terms of mental models. Students frequently fail to recognize relevant conditions that lead to appropriate uses of their models. As a result they can use multiple models inconsistently. Once the most common mental models have been determined by qualitative research, they can be mapping onto a multiple choice test. Model analysis permits the interpretation of such a situation. We illustrate the use of our method by analyzing results from the FCI.

研究の動機と目的

• 指導が物理学における学生の概念的理解に与える影響を定量的に評価するための手法を開発すること。
• 学生が文脈的ヒントに基づいて正しいモデルを部分的にしか適用しないという、不一致なモデル使用の課題に対処すること。
• 標準化テストデータと認知モデルを結びつけることで、学生学習に関する詳細かつ定量的な知見を抽出すること。
• 誤解やモデルの不一致を特定することで、物理学教育における形成的評価を改善すること。
• 力の概念インVENTORY（FCI）を事例として用いて、この手法の妥当性を検証すること。

提案手法

• 一般的なマインドモデルを特定する定性的研究に基づいて、学生の思考の認知モデルを構築する。
• 特定されたマインドモデルを複数選択式の問題項目にマッピングし、各選択肢を特定のモデルまたはモデルの組み合わせに割り当てる。
• モデル分析を用いて学生の反応パターンを解釈し、どのモデルが、どのような条件下で適用されているかを特定する。
• 異なる問題文脈におけるモデル使用頻度と一貫性を定量化し、学習ダイナミクスを評価する。
• FCIデータにこの手法を適用し、指導がモデル選択と適用に与える影響を分析する。
• 統計的分析を用いて、モデルの不一致やモデル固有の誤解のパターンを検出する。

実験結果

リサーチクエスチョン

• RQ1 指導の影響を受けて、学生の力と運動に関するマインドモデルはどのように変化するか？
• RQ2 学生が異なる問題文脈において、正しいモデルを一貫して適用しない程度はどの程度か？
• RQ3 モデル分析は、標準化テストデータにおける微細だが体系的な誤解のパターンを検出できるか？
• RQ4 モデル使用の頻度と一貫性は、FCIにおける学生の成績とどの程度相関するか？
• RQ5 モデル分析は、特定の指導戦略の有効性についてどのような知見を提供するか？

主な発見

• 学生は、正しいモデルの使用を引き起こす関連する物理的条件を認識できず、結果として一貫性のない適用を行うことが頻繁に見られた。
• モデル分析により、FCIの誤った回答の大部分が、ランダムな推測ではなく、特定で識別可能なマインドモデルに対応していることが明らかになった。
• この手法は、学生が概念的理解ではなく表面的な手がかりに基づいてモデルを切り替える傾向があることを、モデル使用パターンを定量化することで成功裏に明らかにした。
• 不一致なモデル使用は、一部の問題で正解を出した学生に対しても、誤解の主な要因であった。
• 分析により、従来の正誤評価では、モデル固有の誤りを考慮していないため、学生の推論の複雑さを過小評価していることが示された。
• 標準的な正誤評価のみに依存するのとは異なり、モデル分析は学生の学習ダイナミクスをより洗練され、正確に評価できることが明らかになった。