[논문 리뷰] Systemic inequities in introductory physics courses: the impacts of learning assistants

Ben Van Dusen, Jayson Nissen|arXiv (Cornell University)|2017. 11. 15.

Innovative Teaching and Learning Methods인용 수 4

한 줄 요약

이 연구는 학습 조교(LA)가 지원하는 대학물리학 강의가 성별 및 인종/민족에 따른 성과 격차를 줄이는지 조사한다. LASSO 플랫폼의 전후 테스트 데이터를 바탕으로 계층적 선형 모델을 사용한 결과, LA는 전반적인 학생 성과를 향상시키지만, 후측정 점수에서의 기존 불평등은 유의미하게 감소시키지 못함을 확인했다. 성별 및 인종/민족에 따른 성과 격차는 LA 지원 여부와 관계없이 안정적이고 상당한 수준을 유지한다.

ABSTRACT

Creating equitable performance outcomes among students is a focus of many instructors and researchers. One focus of this effort is examining disparities in physics student performance across genders, which is a well-established problem. Another less common focus is disparities across racial and ethnic groups, which may have received less attention due to low representation rates making it difficult to identify gaps in their performance. In this investigation we examined associations between Learning Assistant (LA) supported courses and improved equity in student performance. We built Hierarchical Linear Models of student performance to investigate how performance differed by gender and by race/ethnicity and how LAs may have moderated those differences. Data for the analysis came from pre-post concept inventories in introductory mechanics courses collected through the Learning About STEM Student Outcomes (LASSO) platform. Our models show that gaps in performance across genders and races/ethnicities were similar in size and increased from pre to post instruction. LA-support is meaningfully and reliably associated with improvement in overall student performance but not with shifts in within-course performance gaps.

연구 동기 및 목표

• 대학물리학 강의에서 성별 및 인종/민족 집단 간 시스템적 불평등이 존재하는지 조사하기 위해.
• 학습 조교(LA)가 지원하는 수업이 비-LA 지원 수업에 비해 이러한 성과 격차를 줄이는지 검토하기 위해.
• 지속적인 인구통계적 격차가 존재하는 상황에서도 LA가 학생 결과의 형평성을 실제로 향상시키는지 평가하기 위해.
• 통계적 검정력과 일반화 가능성을 확보하기 위해 대규모 다기관 플랫폼(LASSO)에서 수집한 데이터를 분석하기 위해.
• LA 환경와 비-LA 환경에서 소외된 학생들(성별 및 인종/민족 기준)의 상대적 성과 향상 정도를 탐색하기 위해.

제안 방법

• 사전시험 점수와 수업 수준의 영향을 보정하면서 학생 성과를 분석하기 위해 계층적 선형 모델(HLMs)을 사용함.
• 학생이 수업에 속해 있는 중첩된 데이터 구조(학생이 수업에 포함됨)를 고려하기 위해 다수준 모델링을 적용함.
• 성별, 인종/민족, LA 지원 여부의 고정 효과를 포함하여 이들의 후측정 점수에 미치는 영향을 분리함.
• LASSO 플랫폼에서 확보한 사전·사후 개념 검사 점수를 사용하여 개념적 학습 향상을 측정함.
• 학생 수준의 사전시험 성과와 수업 수준의 평균 사전시험 점수를 보정하여 인구통계적 요인과 수업 방식의 영향을 분리함.
• 특히 주류 학생과 소외된 학생 간의 비교를 위해 효과 크기(Cohen’s d)를 사용하여 인구통계 집단 간 상대적 향상 정도를 평가함.

실험 결과

연구 질문

• RQ1 대학물리학 강의에서 성별 및 인종/민족 기반 성과 격차는 어떤가?
• RQ2 LA 지원 여부에 따라 학생 성과 격차는 어떻게 다를까?
• RQ3 LA 지원이 성별 및 인종/민족 집단 간 후측정 점수의 불평등을 어느 정도 줄이거나 완화하는가?
• RQ4 소외된 학생들이 LA 지원 수업에서 비-LA 지원 수업에 비해 상대적 성과 향상(효과 크기)이 더 큰가?
• RQ5 사전시험 점수와 수업 수준 평균이 인구통계적 요인과 후측정 성과 간 관계를 어떻게 조절하는가?

주요 결과

• 비-LA 지원 수업에서 소외된 성별 집단의 학생들은 사전시험 점수를 보정한 후 평균적으로 주류 성별 학생들보다 후측정 점수에서 3.5% 낮게 평가됨.
• 비-LA 지원 수업에서 소외된 인종/민족 집단의 학생들은 사전시험 점수를 보정한 후 평균적으로 주류 인종/민족 집단 학생들보다 후측정 점수에서 4.1% 낮게 평가됨.
• 성별과 인종/민족 양쪽에서 소외된 학생들은 동일한 사전시험 점수를 가진 주류 신분 학생들에 비해 평균적으로 후측정 점수에서 7.6% 낮게 평가됨.
• LA 지원 수업은 모든 인구통계 집단에서 전반적인 후측정 성과가 높았지만, 원천적인 성과 격차는 통계적으로 변화하지 않았음.
• 후측정 점수의 절대 격차는 LA 지원으로 줄어들지 않았지만, 상대적 성과 향상은 소외된 학생들에서 더 높았음: 소외된 학생은 87% 향상, 주류 학생은 80% 향상.
• 모델 분석 결과, LA 지원 여부에 따라 인구통계 집단 간 성과 격차가 유의미하게 감소하지 않았음(p > 0.8).