[논문 리뷰] The implications of Labour's plan to scrap Key Stage 2 tests for Progress 8 and secondary school accountability in England

George Leckie, Lucy Prior외 1명|arXiv (Cornell University)|2019. 11. 15.

School Choice and Performance참고 문헌 17인용 수 4

한 줄 요약

이 논문은 임파워먼트가 잉글랜드에서 Key Stage 2(KS2) 시험 폐지를 제안한 것을 평가하며, KS2 데이터를 제거하면 현재 중학교에 대한 책임성 평가 체계인 Progress 8를 무효화할 수 있다고 주장한다. 저자들은 '조정된 성취도 8(Adjusted Attainment 8)' 측정법—학급 성취도 결과를 학생의 배경 특성에 따라 조정한 것—이 진정으로 공정하고 의미 있는 방법보다는 Progress 8보다 덜 공정하고 의미가 없을 수 있음을 입증한다. 특히 교육적으로 열악한 배경을 가진 학생을 다수 수용하는 학교에서는 더욱 그렇다.

ABSTRACT

In England, Progress 8 is the Conservative government's headline secondary school performance and accountability measure. Progress 8 attempts to measure the average academic progress pupils make in each school between their KS2 tests and their GCSE Attainment 8 examinations. The Labour opposition recently announced they would scrap the KS2 tests were they to be elected. Such a move, however, would preclude the publication of Progress 8 and would leave schools to be compared in terms of their average Attainment 8 scores or, at best, their Attainment 8 scores only adjusted for school differences in pupil demographic and socioeconomic characteristics. In this paper, we argue and illustrate empirically that this best-case scenario of an 'Adjusted Attainment 8' measure would prove less fair and meaningful than Progress 8 and therefore a backwards step, especially when Progress 8 itself has been criticised as biased against schools teaching educationally disadvantaged intakes.

연구 동기 및 목표

• 잉글랜드 중학교의 Progress 8 책임성 평가 프레임워크에 대해 Key Stage 2(KS2) 시험 폐지가 미치는 영향을 평가하는 것.
• '조정된 성취도 8(Adjusted Attainment 8)' 측정법—GCSE 성과와 학생의 배경 특성을 기반으로 한 것—이 Progress 8의 공정하고 의미 있는 대안이 될 수 있는지 평가하는 것.
• 제안된 대안이 교육적으로 열악한 학생을 다수 수용하는 학교에 대해 더 불공평한 결과를 초래할 수 있는지 조사하는 것.
• Progress 8와 다른 책임성 평가 체계 간의 공정성과 통계적 타당성에 대한 실증적 증거를 제공하는 것.
• Progress 8의 편향에 대한 비판에도 불구하고, KS2 데이터를 제거하면 학교 책임성 측면에서 후퇴하는 결과를 초래할 수 있음을 주장하는 것.

제안 방법

• 저자들은 잉글랜드 중학교의 실증적 데이터를 활용하여, KS2 시험 점수가 제거될 경우 책임성 지표에 미치는 영향을 모델링한다.
• KS2에서 GCSE로의 평균 진전을 정의한 Progress 8과, 학생의 배경 및 사회경제적 특성에 따라 조정된 Attainment 8을 기반으로 한 대안적 측정법을 비교한다.
• 공정성과 신뢰성 평가를 위해 통계 모델링을 적용하며, 다양한 학교 입학 유형에서 각 측정법이 학생 성과를 얼마나 잘 예측하는지에 초점을 맞춘다.
• 현재의 Progress 8 체계와 제안된 대안 체계 하에서의 책임성 평가 결과를 시뮬레이션한다.
• 학급 성취도 점수를 학생 배경에 따라 조정하기 위해 회귀 기법을 사용하여, 결과적으로 도출된 측정법의 차별적 영향을 평가한다.
• 다양한 수준의 빈곤도를 가진 학교 간 책임성 평가 결과의 격차를 분석함으로써 각 측정법의 공정성을 평가한다.

실험 결과

연구 질문

• RQ1 Key Stage 2 시험이 폐지된다면 학교 책임성에 어떤 영향을 미칠 것인가?
• RQ2 조정된 성취도 8 측정법은 공정성과 통계적 타당성 측면에서 Progress 8와 어떻게 비교될 수 있는가?
• RQ3 KS2 데이터의 부재가 교육적으로 열악한 학생을 다수 수용하는 학교에 대해 더 불공평한 시스템을 초래할 것인가?
• RQ4 Progress 8가 높은 비율의 열악한 배경 학생을 가진 학교에 대해 편향을 보이고 있다는 점이 그 정당성에 어떤 영향을 미치는가?
• RQ5 배경 특성에 따라 조정된 GCSE 성과 기반의 책임성 체계가, 심지어 조정이 되더라도 공정하고 의미 있는 학교 성과 측정 방법이 될 수 있는가?

주요 결과

• Key Stage 2 시험을 폐지하면 Progress 8를 계산할 수 없게 되며, 이는 KS2에서의 사전 성취도 데이터에 의존하기 때문이다.
• 조정된 성취도 8 측정법은 이론적으로는 더 공정할 수 있지만, 실제로는 Progress 8보다 덜 공정하고 의미가 없을 수 있다.
• 저자들은 Progress 8가 알려진 편향이 있음에도 불구하고, GCSE 성과만 기반으로 하는 어떤 대안보다도 더 강력하고 유의미한 측정법임을 발견한다.
• 교육적으로 열악한 학생을 다수 수용하는 학교는 제안된 대안 하에서 특히 불리하게 되며, KS2 데이터의 부재로 인해 진전을 측정할 수 있는 기초 기준이 사라지기 때문이다.
• 학급 성취도 점수를 학생 배경에 따라 조정하더라도, 그 결과로 도출된 측정법은 Progress 8만큼의 통계적 힘과 공정성을 갖추지 못한다.
• 논문은 KS2 시험 폐지가 학교 책임성 측면에서 후퇴를 의미하며, 성과 측정의 정확성과 공정성 모두를 약화시킬 것이라고 결론 내린다.