[논문 리뷰] Measure of gap and inequalities in basic education students proficiencies

José Francisco Soares, Érica Castilho Rodrigues외 1명|arXiv (Cornell University)|2018. 05. 24.

Intergenerational and Educational Inequality Studies참고 문헌 13인용 수 3

한 줄 요약

이 논문은 기초교육에서 학생의 숙련도 분포를 참고 분포(OECD PISA 성과)와 비교함으로써 학습 품질과 사회경제적 불평등을 동시에 측정하기 위해 Kullback-Leibler 발산을 사용하는 새로운 방법론을 제안한다. 이 접근법은 일반적으로 간과되는 낮은 성과 또는 높은 불평등이 교육적 배제를 유도하는 지자체를 식별하며, 정책 수립 시 품질과 불평등을 함께 고려해야 한다는 점을 드러낸다.

ABSTRACT

This study uses students performance on standardized tests as evidence of the quality of education and introduces a methodology based on the comparison of performance distributions to produce indicators for both the level achieved by the students and the learning gap between social groups, two inseparable dimensions of quality of education. In the first case, the study compares the distribution of the group observed with a reference distribution, which represents an ideal situation of where students should be. In the second, it compares the performance distribution of students belonging to social groups defined by socioeconomic characteristics. This article uses the Kullback-Leibler divergence to characterize the differences between the distributions. This measure takes into account types of diferences not considered by other measures and have solid conceptual justifications. The proposed methodology is used to describe the quality of Brazilian basic education using the test results applied biannually to all Brazilian students of basic education.

연구 동기 및 목표

• 학습 품질과 사회경제적 불평등을 별개의 지표가 아닌 통합된 프레임워크로 측정할 수 있는 방법론을 개발하는 것.
• 기존의 불평등 측정법(예: Theil 지수)이 재분배 가능성과 균일성을 가정하지만 교육적 맥락에서는 적용되지 않는 한계를 해결하는 것.
• 기존의 임의의 이상치가 아닌 국제 기준(OECD PISA)을 바탕으로 한 맥락에 맞는 숙련도 수준의 기준 분포를 정의하는 것.
• 교육적 배제의 주요 원인이 평균 성과가 낮기 때문인지, 사회적 집단 간 불평등이 높기 때문인지 구분할 수 있는 지자체를 특정하는 것.
• 정책에 실질적인 영향을 미칠 수 있도록 품질 문제와 불평등 문제를 명확히 구분하는 지표를 제공하는 것.

제안 방법

• 실제 학생의 숙련도 분포와 이상적인 학습 성과를 반영하는 기준 분포 사이의 거리를 Kullback-Leibler(KL) 발산으로 정량화함으로써 품질 격차를 측정한다.
• 기준 분포를 PISA 평가에서 유형적인 OECD 국가의 성과 분포로 정의하여 교육 과정 기대치를 반영한다.
• KL 발산을 사용해 두 가지 별개의 거리를 측정한다: (1) 실제 학생 분포와 기준 분포 사이의 거리(품질 격차), (2) 고소득 및 저소득 사회경제집단(SEG) 학생 분포 사이의 거리(불평등 격차).
• 개별 학생 수준의 결과가 아닌 연속적인 성과 지표로 숙련도를 간주함으로써 재분배 가능성이나 총 지식의 고정성에 대한 가정을 피한다.
• 브라질 기초교육 시스템의 반기별 국가 시험 데이터를 활용해 지자체 수준에서 이러한 지표를 계산한다.
• 산점도(예: SES 격차 대 KL 발산)를 활용해 결과를 시각화하여 지자체를 주로 낮은 성과 또는 높은 불평등에 의해 영향을 받는 유형으로 분류한다.

실험 결과

연구 질문

• RQ1 브라질의 지자체 중에서 전체 성과 수준과 관계없이 다양한 사회경제적 배경을 가진 학생들 간에 학습 격차가 어느 정도 존재하는가?
• RQ2 요약 통계가 아닌 분포 비교를 통해 교육 품질과 불평등을 동시에 어떻게 측정할 수 있는가?
• RQ3 교육적 배제의 주요 원인이 평균 성과가 낮기 때문인지, 아니면 사회 집단 간 불평등이 높기 때문인지 특정 지자체는 어디인가?
• RQ4 기존의 불평등 측정법이 간과하는 숙련도 분포의 미세한 차이를 Kullback-Leibler 발산이 효과적으로 포착할 수 있는가?
• RQ5 교육 성과의 두 차원인 품질과 불평등을 별개이지만 상호 연관된 차원으로 측정할 경우 정책적 함의는 무엇인가?

주요 결과

• 브라질 대부분의 지자체에서 높은 불평등과 함께 평균 성과가 낮은 학습 격차가 동시에 관찰되어 학교 내 배제가 광범위하게 발생하고 있음을 시사한다.
• 테레지나와 사라우주 등 일부 지자체는 불평등 수준이 낮지만, 여전히 심각한 성과 격차를 보이며, 낮은 불평등이 높은 품질을 의미하지는 않음을 보여준다.
• 이 방법론은 주로 평균 학습 수준이 낮은 문제에서 비롯되는 지자체(예: 테레지나)와 높은 불평등이 문제인 지자체(예: 평균 성과는 보통이지만 KL 발산이 높은 일부 수도권 도시)를 효과적으로 구분할 수 있었다.
• KL 발산은 기존의 표준 불평등 지수로는 감지되지 않는 분포의 형태나 산포도 변화와 같은 분포적 차이를 포착할 수 있었다.
• 정책적으로 전체 학업 성취 수준을 높이면 불평등도 동시에 감소시킬 수 있음을 보여주며, 이는 품질 문제를 해결하면 자동으로 불평등 문제가 해결된다는 전제를 도전한다.
• 현재 브라질의 교육 정책 논의는 평균 성과에만 초점을 맞추다 보니 불평등 문제를 간과하고 있으며, 이는 정책 우선순위의 오류를 초래하고 있음을 드러낸다.