[논문 리뷰] Estimating returns to special education: combining machine learning and text analysis to address confounding

Aurélien Sallin|arXiv (Cornell University)|2021. 01. 01.

Financial Literacy, Pension, Retirement Analysis참고 문헌 84인용 수 2

한 줄 요약

이 연구는 스위스의 정신건강 보고서에 대한 인과적 기계학습 및 계산적 텍스트 분석을 활용하여 특수교육(SpEd) 프로그램의 인과적 수익을 추정한다. 포함형 SpEd 프로그램이 분리형 프로그램보다 긍정적인 학업 및 노동시장 수익을 창출하며, 특히 비모국어 사용자 및 행동장애 학생들에게서 두드러진다. 최적의 재배치 규칙은 대부분의 학생을 분리에서 포함으로 이동시켜 더 낮은 비용으로 더 나은 결과를 얻을 수 있음을 시사한다.

ABSTRACT

Leveraging unique insights into the special education placement process through written individual psychological records, I present results from the first ever study to examine short- and long-term returns to special education programs with causal machine learning and computational text analysis methods. I find that special education programs in inclusive settings have positive returns in terms of academic performance as well as labor-market integration. Moreover, I uncover a positive effect of inclusive special education programs in comparison to segregated programs. This effect is heterogenous: segregation has least negative effects for students with emotional or behavioral problems, and for nonnative students with special needs. Finally, I deliver optimal program placement rules that would maximize aggregated school performance and labor market integration for students with special needs at lower program costs. These placement rules would reallocate most students with special needs from segregation to inclusion.

연구 동기 및 목표

• 특수 needs가 있는 학생들의 학업 성취도 및 노동시장 결과에 대한 특수교육(SpEd) 프로그램의 단기 및 장기 수익을 추정하기 위해.
• 개별 학생 기록에서 제공된 상세한 구두 심리 평가 자료를 활용하여 관찰 데이터에서 발생하는 혼동 요인을 해결하기 위해.
• 다양한 학생 하위군에서 포함형과 분리형 SpEd 프로그램의 효과성을 비교하기 위해.
• 예산 제약 하에 총 학생 성취도와 노동시장 통합을 극대화하면서 비용을 최소화하는 최적의 프로그램 배치 규칙을 도출하기 위해.
• 정책 결정을 지원하기 위해 포함형 교육과 분리형 교육 중 어느 학생군이 더 유익한지 파악하기 위해.

제안 방법

• 학생의 시험 성적 및 사회보장 기록에 대한 행정 데이터와 개인 평가 기록에서 확보한 상세한 구두 심리 평가 보고서를 결합한다.
• NLP 기법을 사용하여 심리학자들이 작성한 보고서에서 잠재적 특징을 추출하고, 학생의 필요사항과 특성을 정량화하기 위해 계산적 텍스트 분석을 적용한다.
• 혼동 요인을 보정하면서 치료 효과를 추정하기 위해 인과적 기계학습(예: 더블 머신러닝 및 앙상블 학습기)을 활용한다.
• 수업 단위의 군집화된 교차검증을 통해 영향력 있는 효과를 추정하고 치료 효과 추정의 탄력성을 확보한다.
• 인과적 추론을 활용하여 정책 트리를 구성하고, 예산 제약 하에 기대 결과를 극대화하는 최적의 배치 규칙을 도출한다.
• 예를 들어 행동 문제나 언어 배경에 따라 하위군 간 이질적 치료 효과를 추정하여 타겟화된 정책 권고를 도출한다.

실험 결과

연구 질문

• RQ1 포함형 및 분리형 특수교육 프로그램이 학업 성취도 및 노동시장 결과에 미치는 인과적 영향은 무엇인가?
• RQ2 특수교육의 다양한 형태(예: 상담, 과외, 개인 상담 등)에 따른 수익은 어떻게 달라지나?
• RQ3 특수 needs가 있는 학생들의 장기적 결과를 향상시키는 데서 포함형 교육이 분리형 교육보다 더 효과적인가?
• RQ4 어느 하위군이 포함형 교육에서 가장 큰 이익을 보이며, 일반 수업 친구들에게 어떤 영향을 미치는가?
• RQ5 예산 제약 하에 총 학생 성취도와 노동시장 통합을 극대화하면서 비용을 최소화하는 최적의 배치 규칙은 무엇인가?

주요 결과

• 포함형 특수교육 프로그램은 학업 성취도 및 노동시장 통합 측면에서 긍정적인 수익을 창출하며, 상담 및 개인 상담 프로그램이 가장 높은 긍정적 영향을 미친다.
• 포함형 환경에서의 과외는 학업 성취도에 측정 가능한 영향을 미치지 않아 이 프로그램에 대한 투자 수익률이 낮음을 시사한다.
• 반분리형 프로그램은 정서적 또는 행동 문제를 앓는 학생들과 특수 needs가 있는 비모국어 사용자 학생들에게 가장 낮은 부정적 영향을 미치며, 이 하위군에 대해 잠재적인 이점이 있음을 시사한다.
• 최적의 정책적 재배치 규칙은 대부분의 학생을 분리형에서 포함형으로 이동시키는 것을 권고하며, 이는 평균 학교 성취도와 노동시장 결과를 향상시키고 비용을 줄일 수 있음을 의미한다.
• 분리형에서 포함형으로 이동하는 학생들은 개인적으로 큰 성과 향상을 보이며, 일반 수업 친구들에게 미치는 작은 부정적 스플라버 효과(−0.03 SD)를 초월한다.
• 완전한 분리형 교육은 높은 이탈률과 다른 프로그램 유형과의 겹침 부족으로 인해 측정 가능한 학업 수익이 없으며, 이로 인해 인과적 비교가 불가능하다.