[論文レビュー] The Elements of Item Response Theory and its Framework in Analyzing Introductory Astronomy College Student Misconceptions. I. Galaxies

Andrej Favia, Neil F. Comins+1 more|arXiv (Cornell University)|Jun 11, 2012

School Choice and Performance参考文献 16被引用数 3

ひとこと要約

本研究では、大学における銀河に関する誤った理解の難易度を特定・順位付けするために項目反応理論（IRT）を適用する。因子分析とIRTスコアの適用により、空間的分布に関する誤解が最も持続的であることが判明し、大人（因子1、次に2、次に3）と若年層（因子2、次に1、次に3）で異なる最適な指導順序が明らかになった。これは、入門的天文学教育におけるカリキュラム設計のデータ駆動型フレームワークを提供する。

ABSTRACT

This is the first in a series of papers that analyze college student beliefs in realms where common astronomy misconceptions are prevalent. Data was collected through administration of an inventory distributed at the end of an introductory college astronomy course. In this paper, we present the basic mathematics of item response theory (IRT), and then we use it to explore concepts related to galaxies. We show how IRT determines the difficulty of each galaxy topic under consideration. We find that the concept of galaxy spatial distribution presents the greatest challenge to students of all the galaxy topics. We also find and present the most logical sequence to teach galaxy topics as a function of the audience's age.

研究の動機と目的

• 心理測定的手法を用いて、大学生における銀河関連の誤解の持続性を定量化すること。
• 項目反応理論（IRT）を用いて、銀河に関する特定の誤解を是正する難易度の相対的順位を特定すること。
• 学生の年齢に応じた誤解の持続性に基づき、銀河トピックを指導する最適な順序を同定すること。
• 最も持続的な誤解に焦点を当てることで、天文学教育の改善を支援するデータ駆動型フレームワークを提供すること。
• 誤解の難易度を発達的年齢グループと結びつけることで、カリキュラム設計を支援すること。

提案手法

• AST109誤解イン벤톭リの学生回答を再コードし、誤った信念の保持度を反映する「誤解スコア」を算出する。
• 主成分分析（PCA）を用いて、相関する学生回答に基づき銀河関連の項目をグループ化し、3つの明確な誤解要因を同定する。
• 項目反応理論（IRT）における段階的応答モデルを用いて、項目難易度を推定し、各誤解レベルの提示確率をモデル化する。
• カテゴリ応答曲線の交点を特定し、誤解が解消される年齢の相対的時期を特定し、概念的発達の代理指標とする。
• 各要因内の項目を交点の位置順に並べ替え、誤解の持続度が増加する順序を反映させる。
• 年齢グループごとの交点の加重平均を計算し、各要因の全体的な指導順序を順位付けする。

実験結果

リサーチクエスチョン

• RQ1 大学生において、どの銀河に関する誤解が最も持続的か？
• RQ2 銀河に関する誤解の是正難易度は、異なる年齢層でどのように異なるか？
• RQ3 概念的理解を最大化するために、銀河トピックを指導する最適な順序は何か？
• RQ4 項目反応理論は、天文学教育における誤解の持続性をどのように定量化できるか？
• RQ5 空間的分布に関する誤解と、天の川の中心性に関する誤解（例：我々が天の川の中心にいるという誤解）の間にはどのような関係があるか？

主な発見

• 空間的分布に関する概念は、学生が学びにくいとされ、最も低い誤解要因座標（MFC）である-1.36を示し、最も持続的であることを示している。
• 銀河が1つしかないという誤解は、IRTモデルにおいて最も容易に解消されるため、最も低い難易度を示している。
• 大人の場合、最適な指導順序は、因子1（視覚的銀河特性）、次に因子2（中心性）、次に因子3（空間的分布）である。
• 子どもおよび思春期の生徒の場合、最も論理的な順序は、因子2（中心性）、次に因子1（視覚的銀河特性）、次に因子3（空間的分布）である。
• 銀河がランダムに分布しているという誤解は、我々が天の川のすべての星を見ることができるという信念と強く相関しており、空間的分布に関する共通の下位フレームワークを示している。
• 天の川が宇宙の中心にある、または我々がその中心にいるという誤解を持つ学生は、銀河がほんの数個しかないという誤解を持つ傾向も強い。