[論文レビュー] The implications of Labour's plan to scrap Key Stage 2 tests for Progress 8 and secondary school accountability in England

George Leckie, Lucy Prior+1 more|arXiv (Cornell University)|Nov 15, 2019

School Choice and Performance参考文献 17被引用数 4

ひとこと要約

この論文は、イングランドのキーフステージ2（KS2）テストの廃止を労働党が提案していることを評価し、KS2データを削除すると、現在の高校教育機関の責任評価指標であるプログレッション8（Progress 8）が無効化されることを主張している。著者らは、生徒の属性を考慮してGCSE成績を調整した「調整済みアタインメント8」指標が、特に教育的・社会的に不利な立場の生徒を多く受け入れる学校にとって、プログレッション8よりも不平等で意味のないものになると示している。

ABSTRACT

In England, Progress 8 is the Conservative government's headline secondary school performance and accountability measure. Progress 8 attempts to measure the average academic progress pupils make in each school between their KS2 tests and their GCSE Attainment 8 examinations. The Labour opposition recently announced they would scrap the KS2 tests were they to be elected. Such a move, however, would preclude the publication of Progress 8 and would leave schools to be compared in terms of their average Attainment 8 scores or, at best, their Attainment 8 scores only adjusted for school differences in pupil demographic and socioeconomic characteristics. In this paper, we argue and illustrate empirically that this best-case scenario of an 'Adjusted Attainment 8' measure would prove less fair and meaningful than Progress 8 and therefore a backwards step, especially when Progress 8 itself has been criticised as biased against schools teaching educationally disadvantaged intakes.

研究の動機と目的

• イングランドの中学校におけるプログレッション8の責任評価フレームワークに、キーフステージ2（KS2）テストを廃止することが与える影響を評価すること。
• GCSE成績と生徒の属性に基づく「調整済みアタインメント8」指標が、プログレッション8の代替として公平かつ意味のあるものであるかどうかを評価すること。
• 提案された代替指標が、教育的に不利な立場の生徒を多く受け入れる学校にとって、より不平等であるかどうかを調査すること。
• プログレッション8と代替の責任評価指標の公平性と統計的妥当性に関する実証的証拠を提供すること。
• プログレッション8のバイアスに対する批判にもかかわらず、KS2データを削除することは、学校の責任評価の観点から後退であると主張すること。

提案手法

• 著者らは、イングランドの中学校の実証的データを用いて、KS2テスト得点の削除が責任評価指標に与える影響をモデル化している。
• プログレッション8（KS2からGCSEまでの平均的進歩）と、代替指標としての生徒の属性および社会経済的特徴を考慮したアタインメント8の比較を行っている。
• 公平性と信頼性を評価するため、統計的モデリングを用い、異なる学校の入学者構成における学生の成績予測の精度に注目している。
• 現在のプログレッション8制度と提案された代替制度の下での責任評価結果のシミュレーションを含んでいる。
• 回帰手法を用いてアタインメント8得点を生徒の背景に合わせて調整し、その結果得られる指標の差別的影響を評価している。
• さまざまな不利要因の程度を持つ学校間での責任評価結果の差異を検討することで、各指標の公平性を評価している。

実験結果

リサーチクエスチョン

• RQ1 キーフステージ2テストが廃止された場合、学校の責任評価にどのような影響が生じるか？
• RQ2 公平性と統計的妥当性の観点から、「調整済みアタインメント8」指標はプログレッション8と比べてどうなるか？
• RQ3 KS2データが欠落することで、教育的に不利な立場の生徒を多く受け入れる学校にとって、より不平等な制度になるか？
• RQ4 プログレッション8が、高比率の教育的に不利な立場の生徒を有する学校に対してバイアスを示しているという現状の問題が、その正当性にどの程度影響を与えているか？
• RQ5 背景を調整したとしても、GCSEのみに基づく責任評価制度は、公平かつ意味のある学校のパフォーマンス測定手段として十分か？

主な発見

• キーフステージ2テストを廃止すると、プログレッション8は計算できなくなる。なぜなら、プログレッション8はKS2の前段階の成績データに依存しているからである。
• 理論的にはより公平である可能性がある「調整済みアタインメント8」指標は、実際にはプログレッション8よりも不平等で意味のないものになる。
• 著者らは、既知のバイアスがあるにもかかわらず、プログレッション8が、単にGCSE成績に基づく代替指標よりも、より強固で情報量の多い指標であると結論づけている。
• 教育的に不利な立場の生徒を多く受け入れる学校は、提案された代替制度の下で特に不利益を被る。なぜなら、KS2データの欠落により、進歩を測るための基準が失われるからである。
• アタインメント8を生徒の背景に合わせて調整しても、その結果得られる指標はプログレッション8ほどの統計的パワーと公平性を欠いていることが明らかになった。
• 本論文は、KS2テストの廃止が、学校の責任評価の観点から後退を意味し、パフォーマンス測定の正確性と公平性の両方を損なうと結論づけている。