[논문 리뷰] Patterns of Gendered Performance Difference in Introductory STEM Courses

Benjamin P. Koester, Галина Гром외 1명|arXiv (Cornell University)|2016. 08. 26.

Innovations in Educational Methods참고 문헌 3인용 수 29

한 줄 요약

이 연구는 밀리컨 대학교에서 2008~2015년 동안 실시된 116개의 대규모 초급 STEM 수업에서 성별에 따른 성과 차이(GPDs)와 성적 이상 현상(grade anomalies)을 분석하여, 여성 학생들이 다른 과목에서의 성과에 비해 예상보다 낮은 성적을 받는 경향이 있음을 밝혀냈다. 특히 강의 형식 수업에서 이러한 경향이 두드러진다. 저자들은 이러한 격차가 고위험, 시간 제한이 있는 시험으로 악화되는 스테레오타입 위협의 영향 때문이라고 보고, 비인정형 평가 방식으로의 전환을 통해 불평등을 줄일 수 있을 것으로 제안한다.

ABSTRACT

Grades provide students with their primary performance feedback: signals which affect academic choices. Variations in grading practice among courses impose grade penalties (and bonuses) on students who take them. These grade penalties are sometimes gendered. Using extensive data from the University of Michigan, we report on patterns of grade penalty and gendered performance difference across 116 large courses. We find that significant gendered performance differences are ubiquitous in large introductory STEM lecture courses. They are largely absent in both STEM labs and in lecture courses in other disciplines. Exploring the features of these courses, we hypothesize that evaluation methods used in STEM lecture courses interact with stereotype threat to create these gendered performance differences.

연구 동기 및 목표

• 다양한 학문 분야의 대규모 초급 STEM 수업에서 성별에 따른 성과 차이(GPDs)를 특정하고 정량화하기.
• 성과 예측치와 실제 성적 간 격차인 성적 이질성(grade anomalies)이 성별과 수업 유형에 따라 어떻게 다를지 조사하기.
• 평가 방법, 특히 시간 제한이 있는 시험의 역할이 성별에 따른 성과 차이를 어떻게 증폭시키는지 탐구하기.
• GPDs가 스테레오타입 위협과 관련이 있는지, 그리고 실험실 수업이나 비-STEM 수업에서는 이러한 차이가 나타나지 않는지 평가하기.
• 불공정성을 줄이기 위해 비인정형, 시간 제한이 있는 평가 방식에서 더 진정성 있는 평가 방법으로의 체계적 전환을 주장하기.

제안 방법

• 연구는 밀리컨 대학에서 2008~2015년 동안 실시된 116개의 대규모 수업(등록 인원 >200명)에서의 627,998명의 학생-수업 쌍 데이터를 사용한다.
• 성적은 다른 과목의 학점평균(GPAO)과 비교하여 '성적 이질성'—실제 성적과 예상 성적 간의 차이—를 계산한다.
• 성별에 따른 성과 차이(GPDs)는 고등학교 학점평균, ACT 점수, 진학한 학부를 제어한 회귀분석 및 최적 매칭 기법을 사용하여 정량화한다.
• 강의 섹션과 실험실 섹션, STEM, 사회과학, 인문학 분야 간의 차이를 구분하여 분석한다.
• 평균 성적 이질성과 GPDs의 표준 오차를 추정하기 위해 부트스트랩 리샘플링 기법을 사용한다.
• 연구는 평가 스타일(예: 시간 제한이 있는 시험)과 GPDs 간의 관계를 매개하는 요소로 스테레오타입 위협이 작용할 것임을 관찰된 성적 이질성 패tern에 기반해 가설화한다.

실험 결과

연구 질문

• RQ1 대규모 초급 STEM 강의 수업에서 유의미한 성별에 따른 성과 차이(GPDs)가 존재하는가? 이는 얼마나 광범위하게 퍼져 있는가?
• RQ2 성과 예측치와 실제 성적 간 격차인 성적 이질성은 여성 학생이 STEM 강의에서 다른 수업 유형에 비해 더 큰가?
• RQ3 고등학교 학점평균, 표준화 시험 점수 등의 학생 배경 요인을 통제한 후에도 GPDs가 유지되는가?
• RQ4 STEM 실험실 수업과 비-STEM 수업에서는 GPDs가 나타나지 않는가? 이는 특정 평가 형식과의 연관성을 시사하는가?
• RQ5 스테레오타입 위협이 시간 제한이 있는 고위험 시험에서 관찰된 성별에 따른 성과 차이를 어느 정도 설명할 수 있는가?

주요 결과

• 대규모 초급 STEM 강의 수업에서 유의미한 성별에 따른 성과 차이(GPDs)가 광범위하게 존재하며, 여성 학생들은 다른 과목에서의 성과에 비해 예상보다 상당히 낮은 성적을 받는다.
• 여성 학생들의 평균 성적 이질성이 남성 학생들보다 유의미하게 크며, 이는 여성에게 체계적인 성과 할인을 의미한다.
• 이러한 GPDs는 STEM 실험실 수업과 비-STEM 분야의 강의 수업에서는 거의 관찰되지 않으며, 이는 특정 교육 및 평가 형식과 관련이 있음을 시사한다.
• 연구는 고등학교 학점평균, ACT 점수 등의 학생 준비도 차이 또는 진학한 학부가 관찰된 GPDs를 설명할 만한 강력한 증거를 발견하지 못했다.
• 평가 스타일, 특히 시간 제한이 있는 고위험 시험과 GPDs 존재 여부 사이에 강한 상관관계를 발견하여, 스테레오타입 위협이 핵심 메커니즘일 수 있다는 가설을 뒷받침한다.
• 연구 결과는 비인정형, 시간 제한이 있는 평가 방식을 더 진정성 있는 평가 방법으로 대체할 경우 이러한 불평등을 체계적으로 줄이거나 제거할 수 있을 것으로 시사한다.