[논문 리뷰] The Elements of Item Response Theory and its Framework in Analyzing Introductory Astronomy College Student Misconceptions. I. Galaxies

Andrej Favia, Neil F. Comins외 1명|arXiv (Cornell University)|2012. 06. 11.

School Choice and Performance참고 문헌 16인용 수 3

한 줄 요약

이 연구는 항성학에서 은하에 대한 오개념의 난이도를 식별하고 순위를 매기기 위해 항목 반응 이론(Impact Response Theory, IRT)을 적용한다. 요인 분석과 IRT 점수를 사용하여 공간 분포 오개념이 가장 지속되며, 성인(요인 1, 다음 요인 2, 다음 요인 3)과 더 어린 학습자(요인 2, 다음 요인 1, 다음 요인 3)에 대해 각각 별도의 최적의 수업 순서를 제시함으로써, 초급 천문학 교육을 위한 데이터 기반 프레임워크를 제공한다.

ABSTRACT

This is the first in a series of papers that analyze college student beliefs in realms where common astronomy misconceptions are prevalent. Data was collected through administration of an inventory distributed at the end of an introductory college astronomy course. In this paper, we present the basic mathematics of item response theory (IRT), and then we use it to explore concepts related to galaxies. We show how IRT determines the difficulty of each galaxy topic under consideration. We find that the concept of galaxy spatial distribution presents the greatest challenge to students of all the galaxy topics. We also find and present the most logical sequence to teach galaxy topics as a function of the audience's age.

연구 동기 및 목표

• 심리측정 기법을 사용하여 대학생들 사이에서 은하 관련 오개념의 지속성을 정량화하기.
• 항목 반응 이론(IRT)을 사용하여 특정 은하 오개념을 바로잡는 데 필요한 난이도를 비교 분석하기.
• 학생의 연령과 오개념의 지속성에 기반하여 은하 주제를 가르치는 데 가장 효과적인 순서를 규명하기.
• 가장 지속적인 오개념에 초점을 맞춤으로써 천문학 수업 개선을 위한 데이터 기반 프레임워크 제공하기.
• 오개념 난이도를 발달 연령 그룹과 연계하여 커리큘럼 설계에 정보 제공하기.

제안 방법

• AST 109 오개념 인벤토리에서 학생들의 응답을 재코딩하여 점점 더 잘못된 믿음이 유지되는 정도를 반영하는 '오개념 점수'를 산출하기.
• 상관된 학생 응답 기반으로 은하 관련 항목을 군집화하기 위해 주성분 분석(PCA)을 적용하여 세 가지 구분되는 오개념 요인을 식별하기.
• 항목 반응 이론(IRT)의 등급 반응 모델을 사용하여 항목 난이도를 추정하고 각 오개념 수준에 대한 수용 확률을 모델링하기.
• 범주 반응 곡선의 교차점을 특정하여 오개념이 제거되는 상대적 연령을 파악하고, 개념 발달의 대체 지표로 활용하기.
• 교차점의 위치에 따라 각 요인 내 항목을 순서대로 배열하여 오개념의 지속성 증가를 반영하기.
• 연령군 간 교차점의 가중 평균을 계산하여 각 요인에 대한 전체적인 수업 순서를 순위화하기.

실험 결과

연구 질문

• RQ1 대학생들 사이에서 가장 지속적인 은하 오개념은 무엇인가?
• RQ2 다른 연령군 간에 은하 오개념을 바로잡는 데 필요한 난이도는 어떻게 달라지는가?
• RQ3 개념적 이해를 극대화하기 위해 은하 주제를 가르치는 데 가장 논리적인 순서는 무엇인가?
• RQ4 항목 반응 이론은 천문학 교육에서 오개념의 지속성을 어떻게 정량화할 수 있는가?
• RQ5 공간 분포 오개념과 밀레니엄 은하 중심성과 같은 관련 오개념 간의 관계는 무엇인가?

주요 결과

• 은하의 공간 분포 개념은 학생들이 가장 어려워하는 개념으로, 가장 낮은 오개념 요인 좌표(MFC) 값 -1.36를 보이며 가장 높은 지속성을 나타낸다.
• 오직 하나의 은하만 존재한다는 오개념은 IRT 모델에서 가장 낮은 난이도를 보이며 가장 쉽게 제거된다.
• 성인의 경우 최적의 수업 순서는 요인 1(시각적 은하 특성), 다음 요인 2(중심성), 다음 요인 3(공간 분포)이다.
• 어린이와 청소년의 경우 가장 논리적인 순서는 요인 2(중심성), 다음 요인 1(시각적 은하 특성), 다음 요인 3(공간 분포)이다.
• 은하가 무작위로 분포되어 있다는 오해는 우리가 은하수의 모든 별을 볼 수 있다는 믿음과 강하게 상관되어 있어, 공간 분포의 공통된 기초 틀을 반영한다.
• 은하수 중심에 위치해 있다는 믿음이나 우리가 은하수 중심에 있다는 믿음을 가진 학생들은 오직 몇몇의 은하만 존재한다는 오개념을 더 자주 가진다.