[논문 리뷰] Implementing Competency-Based Grading Improves the Performance of Women and First Generation Students in Introductory Physics

M. S. Richard, Jennifer Delgado외 2명|arXiv (Cornell University)|2022. 06. 21.

Mathematics Education and Programs인용 수 4

한 줄 요약

이 연구는 캔자스 대학교에서 미적분학 기반의 초급 물리학 수업에서 능력 기반 성적 평가 시스템(ALPaCA)을 구현하여, 다양한 내용 영역에서 반복 평가를 통해 숙달도를 입증할 수 있는 기회를 학생들에게 제공한다. 이 시스템은 스트레스를 줄이고 다양한 학습 속도를 수용함으로써 성과를 크게 향상시켰으며, 특히 여성 학생과 1세대 대학생들에게서 두드러진 성과 향상이 관찰되었고, 모든 집단에서 DFW(탈락, F, Withdrawal) 비율이 감소하였다.

ABSTRACT

We present a model for competency-based grading for calculus-based introductory physics that encourages students to obtain proficiency with all course content. By allowing students to continually improve their proficiency with skills and content throughout the semester, this formative grading system is designed to create a more flexible learning environment that better accommodates the varying schedules and needs of students. While all students show improvement in their performance following the implementation of this grading system, the largest gains were found for women and first generation students, both of whom often pose a retention risk in science and engineering degree programs.

연구 동기 및 목표

• 다양한 학생의 학습 경로를 수용할 수 있는 융통성 있고 능력 기반의 성적 평가 시스템을 개발하고 구현함으로써 미적분학 기반의 초급 물리학 수업의 성과를 향상시키는 것.
• 시간 제약, 이전 준비 수준, 스테레오타입 위협과 관련된 장벽을 줄임으로써 과학, 기술, 공학, 수학(STEM) 분야의 성과 격차를 해소하는 것.
• 여러 번의 평가 기회가 학생의 성과를 향상시키는지 평가하며, 특히 소수자 및 위험군으로 간주되는 여성 및 1세대 학생들에 대해 집중적으로 분석하는 것.
• 다양한 물리학 내용 영역의 상대적 난이도를 정량화하여 지도 전략 조정과 커리큘럼 설계에 기여하는 것.
• 숙달도 기반의 진도를 바탕으로 기존의 수강 이수 기반의 전공 수강 조건 모델을 새롭게 설계할 수 있는 능력 기반 성적 평가의 잠재력을 탐색하는 것.

제안 방법

• 학습자가 여러 평가에서 숙달도를 입증할 수 있도록 보장하기 위해, 보다 많은 평가에서 성과를 보여야만 유지 및 숙달이 보장되는 형성적 성적 평가 시스템(ALPaCA)을 설계한다.
• 각 내용 영역에 대해 학기 내내 여러 번의 기회를 부여하며, 매주 퀴즈와 기말 시험을 포함하여 다양한 학습 속도를 수용한다.
• 각 내용 영역에서 최소 두 번 이상의 평가에서의 최고 점수를 기반으로 기하 평균을 계산하여 과목 성적을 산정한다. 기말 시험도 포함된다.
• 기관 내 데이터를 활용하여 성별, 1세대 대학생 여부, 소수자 소속(URM) 여부를 기준으로 학생을 분류하여 집단 기반 성과 분석을 수행한다.
• 개별 학습 목표에 초점을 맞춘 내용별 퀴즈 및 시험을 실시하며, 후기 버전에서는 장시간의 시험에서 짧고 빈도 높은 평가로 전환한다.
• 지난 학기 동안 그룹 활동은 유지하되, 성적 평가에는 개인 평가를 사용하여 개인의 책임감과 정확한 숙달도 측정을 보장한다.

실험 결과

연구 질문

• RQ1 여러 번의 평가 기회를 제공하는 능력 기반 성적 평가 시스템이, 미적분학 기반의 초급 물리학 수업에서 전체 학생의 성과에 어떤 영향을 미치는가?
• RQ2 여성 학생과 1세대 학생들이 이 성적 평가 모델 하에서 동료 학생들보다 더 큰 성과 향상을 경험하는가?
• RQ3 초급 물리학의 어떤 내용 영역(예: 힘 기반 역학, 에너지 기반 역학, 운동량)이 학생들에게 가장 어려운가? 이러한 어려움은 다양한 학생 집단 간에 어떻게 다를까?
• RQ4 ALPaCA 성적 평가 시스템이 DFW(탈락, F, Withdrawal) 비율을 어느 정도 감소시키는가? 특히 위험군 학생 집단에서의 영향을 중심으로 분석한다.
• RQ5 PHSX 211의 특정 내용 영역에서의 숙달도가 후속 과목의 성과를 예측할 수 있는가? 이러한 예측 능력은 숙달도 기반의 새로운 전제 조건 모델 설계에 어떻게 기여할 수 있는가?

주요 결과

• ALPaCA 능력 기반 성적 평가 시스템의 도입으로 모든 학생 집단에서 과목 성과가 뚜렷이 향상되었으며, 특히 여성 학생과 1세대 학생들 사이에서 가장 큰 성과 향상이 관찰되었다.
• 여성 학생은 과목 성과에서 가장 두드러진 상대적 향상을 보였으며, 이는 물리 수업에서 흔히 발생하는 성별 성과 격차를 효과적으로 완화시켰다는 것을 시사한다.
• 1세대 학생들도 가장 큰 성과 향상을 경험했으며, 이는 학문적 사회화 부족과 이전의 STEM 경험 부족으로 인한 유료 유지 위험을 줄이는 데 시스템이 효과를 발휘했음을 시사한다.
• 모든 집단에서 DFW 비율이 감소했으며, 특히 여성 학생과 1세대 학생 집단에서 가장 뚜렷한 감소가 관찰되어 과목 이수율과 성공률 향상을 반영한다.
• 학생들이 가장 어려움을 겪은 영역은 운동량 기반의 정량적 문제 해결이었으며, 이어 힘 기반의 역학이 어려움을 느꼈고, 에너지 기반의 역학은 상대적으로 덜 어려운 것으로 평가되어, 집중적인 지도 개선 방향을 제시한다.
• 이 시스템의 설계 방식—각 내용 영역에서 두 번의 최고 점수의 기하 평균을 사용함—은 숙달도가 여러 평가에서 반복적으로 입증되도록 하여 장기적 기억 유지와 단일 고위험 실패의 영향을 줄이는 데 기여한다.