[論文レビュー] Cluster Analysis of Educational Data: an Example of Quantitative Study on the answers to an Open-Ended Questionnaire

Onofrio Rosario Battaglia, Benedetto Di Paola+1 more|arXiv (Cornell University)|Dec 30, 2015

Sensory Analysis and Statistical Methods参考文献 41被引用数 10

ひとこと要約

本論文は、教育的研究における自由記述式アンケートへの回答の定量的分析のためのクラスタ分析手法を提示している。教師の前提なしに知的に整合性のある学生のグループを特定するため、教師なし学習を用いている。本手法は、大学の物理学教育における学生の回答に適用され、明確な推論パターンを明らかにし、データ駆動型分類によって学生の概念的理解に関する新たな知見を提供している。

ABSTRACT

In the last years many studies examined the consistency of students' answers in a variety of contexts. Some of these papers tried to develop more detailed models of the consistency of students' reasoning, or to subdivide a sample of students into intellectually similar subgroups. The problem of taking a set of data and separating it into subgroups where the elements of each subgroup are more similar to each other than they are to elements not in the subgroup has been extensively studied through the methods of Cluster Analysis. This method can separate students into groups that can be recognized and characterized by common traits in their answers, without any prior knowledge of what form those groups would take (unbiased classification). In this paper we start from a detailed analysis of the data coding needed in Cluster Analysis, in order to discuss the meaning and the limits of the interpretation of quantitative results. Then two methods commonly used in Cluster Analysis are described and the variables and parameters involved are outlined and criticized. Section III deals with the application of these methods to the analysis of data from an open-ended questionnaire administered to a sample of university students, and the quantitative results are discussed. Finally, the quantitative results are related to student answers and compared with previous results reported in the literature, by pointing out the new insights resulting from the application of such new methods.

研究の動機と目的

• 自由記述式アンケートからの質的教育データを定量的クラスタ分析を用いて系統的に分析するためのアプローチを開発すること。
• グループ構造に関する事前の仮定なしに、推論パターンの類似性に基づいて知的に均質な学生サブグループを特定すること。
• クラスタ分析の結果の解釈可能性と限界、特にデータコーディングとパラメータ選択に関する教育的文脈での評価。
• 定量的結果を既存の文献と比較し、物理学教育における学生の推論に関する新たな知見を明らかにすること。
• データ駆動型分類と意味のある解釈を両立させる教育データへのクラスタ分析の適用に役立つ方法論的フレームワークを提供すること。

提案手法

• 本研究では、コーディングされたデータから得られる意味的類似性に基づいて、学生の回答をグループ化するため、階層的クラスタリングおよびk-meansクラスタリングアルゴリズムを用いる。
• 自由記述の回答をクラスタ分析に適した数値変数に変換するため、詳細かつ体系的なプロセスを用いてデータコーディングを行う。
• 階層的クラスタリングにおける距離尺度とリンクアージェンシー基準の選択が、グループ形成と解釈可能性に与える影響を検討する。
• k-means法は、クラスタ数を変えて適用し、内部評価指標を用いて最適なグループ構造を評価する。
• 異なる回答次元が等しく寄与するように、クラスタリングの前に変数を標準化し、パラメータ選択への感受性を検討する。
• クラスタの解釈は、代表的な学生の回答の質的分析に根ざしており、数値的なグループ化と実際の推論パターンを結びつける。

実験結果

リサーチクエスチョン

• RQ1 クラスタ分析を教育的研究における自由記述式アンケートの回答に効果的に適用する方法は何か？
• RQ2 教育的文脈において、クラスタ分析に適した質的データのコーディングに直面する主な課題と限界は何か？
• RQ3 物理学の学生の回答のクラスタ分析から、どのような安定的かつ解釈可能な学生の推論プロファイルが明らかになるか？
• RQ4 識別されたクラスタは、文献に既に報告された学生の推論カテゴリとどのように比較できるか？
• RQ5 クラスタ分析は、従来の質的コーディングに比べて、学生の理解に関する新たな知見をどの程度明らかにできるか？

主な発見

• クラスタ分析により、自由記述式の物理学の質問に対する学生の推論パターンに基づいて、明確で解釈可能なグループが効果的に特定された。
• 本研究では、代替的仮説やより洗練された概念的枠組みを含む複数の推論プロファイルが明らかになったが、これらは従来の質的コーディングだけでは容易に特定できなかった。
• クラスタリングのパラメータ、たとえばリンクアージェンシー基準やクラスタ数の選択が、結果としてのグループ構造と解釈に顕著な影響を与えた。
• データコーディング手順が極めて重要であることが判明した。コーディング意思決定のわずかな変更が、異なるクラスタ構成をもたらしたため、透明性と一貫性の必要性が強調された。
• 本手法により、従来の教育的分析では軽視されがちな、類似した誤った理解や推論戦略を持つサブグループの特定が可能となり、教育的介入の新たな道筋が得られた。
• クラスタ分析の結果は、従来の質的研究と一貫しているが、より洗練されており、学生の推論を分析するためのより体系的かつスケーラブルなアプローチを提供した。