[论文解读] Measure of gap and inequalities in basic education students proficiencies

José Francisco Soares, Érica Castilho Rodrigues+1 more|arXiv (Cornell University)|May 24, 2018

Intergenerational and Educational Inequality Studies参考文献 13被引用 3

一句话总结

本文提出一种新颖的方法，利用Kullback-Leibler散度，通过将学生能力分布与参考分布（OECD PISA表现）进行比较，同时衡量基础教育中的学习质量与社会经济不平等。该方法识别出因低表现或高不平等而常被忽视的教育排斥现象，揭示了在政策制定中必须同时关注质量与不平等。

ABSTRACT

This study uses students performance on standardized tests as evidence of the quality of education and introduces a methodology based on the comparison of performance distributions to produce indicators for both the level achieved by the students and the learning gap between social groups, two inseparable dimensions of quality of education. In the first case, the study compares the distribution of the group observed with a reference distribution, which represents an ideal situation of where students should be. In the second, it compares the performance distribution of students belonging to social groups defined by socioeconomic characteristics. This article uses the Kullback-Leibler divergence to characterize the differences between the distributions. This measure takes into account types of diferences not considered by other measures and have solid conceptual justifications. The proposed methodology is used to describe the quality of Brazilian basic education using the test results applied biannually to all Brazilian students of basic education.

研究动机与目标

• 开发一个统一框架，用于同时衡量教育中的学习质量与社会经济不平等，超越孤立的指标。
• 解决传统不平等衡量方法（如Theil指数）的局限性，这些方法假设资源可再分配且具有同质性，而这些假设在教育情境中并不成立。
• 基于国际基准（OECD PISA）定义特定情境下的能力水平参考分布，而非任意的理想化标准。
• 识别出教育排斥主要源于低平均表现还是社会群体间高不平等的市镇。
• 提供具有政策相关性的指标，以区分质量问题与不平等问题，从而实现有针对性的干预。

提出的方法

• 使用Kullback-Leibler（KL）散度量化实际学生能力分布与代表理想学习成果的参考分布之间的距离。
• 将参考分布定义为OECD国家在PISA评估中的典型表现分布，反映课程预期。
• 应用KL散度测量两个不同的距离：（1）实际学生分布与参考分布之间的差距（质量差距）；（2）高SES与低SES学生分布之间的差距（不平等差距）。
• 将能力视为连续的表现指标，而非个体层面的结果，避免对可再分配性或固定总知识量的假设。
• 使用巴西基础教育系统每两年一次的全国测试数据，在市镇层面计算这些指标。
• 通过散点图（如SES差距 vs. KL散度）可视化结果，按主要排斥类型对市镇进行分类——低表现或高不平等。

实验结果

研究问题

• RQ1 在多大程度上，巴西市镇中不同社会经济地位的学生之间存在独立于整体表现水平的学习差距？
• RQ2 如何通过分布比较而非汇总统计，实现对教育质量与不平等的同步测量？
• RQ3 在哪些市镇中，教育排斥的主要驱动因素是低平均表现，而在哪些市镇中是社会群体间的高不平等？
• RQ4 Kullback-Leibler散度能否有效捕捉传统不平等指标所忽略的能力分布的细微差异？
• RQ5 当质量与不平等被视作教育表现中既独立又相互关联的维度时，会产生哪些政策启示？

主要发现

• 大多数巴西市镇同时存在显著的学习差距（低平均表现）以及高SES学生与低SES学生之间的高不平等，表明校内排斥现象普遍存在。
• 仅有少数市镇（如蒂亚茹纳和萨尔瓦多）表现出低不平等，但即便这些市镇也存在显著的表现差距，表明低不平等并不意味着高质量。
• 该方法成功区分了主要问题为低平均学习水平的市镇（如蒂亚茹纳）与主要问题为高不平等的市镇（如部分首都，尽管表现中等但KL散度较高）。
• KL散度的应用捕捉到了标准不平等指数未能检测到的分布差异，例如能力分布的形状或离散度的变化。
• 结果表明，通过政策提升整体学习水平可同时减少不平等，挑战了‘解决质量问题即可自动缓解不平等’的假设。
• 本研究揭示，当前巴西的教育讨论往往因仅关注平均表现而忽视了不平等，导致政策优先事项错配。