[논문 리뷰] Identification with Latent Choice Sets: The Case of the Head Start Impact Study

Vishal Kamat|arXiv (Cornell University)|2017. 11. 01.

Early Childhood Education and Development인용 수 3

한 줄 요약

이 논문은 관측되지 않은 이질성에 기인한 치료 선택지에서의 프로그램 효과를 규명하기 위한 비모수적 모델을 개발하며, 헤드스타트 영향 연구에 적용한다. 선형 프로그래밍을 통해 정책 관련 파rameter의 식별 집합을 구축하고, 접근성이 보장될 경우 많은 수의 아동이 자발적으로 헤드스타트에 등록할 것으로 나타나며, 다양한 정책 시나리오에서 짧은 기간 동안의 시험 성적 향상 효과가 나타난다.

ABSTRACT

This paper studies identification of program effects in settings with latent choice sets. Here, by latent choice sets, I mean the unobserved heterogeneity that arises when the choice set from which the agent selects treatment is heterogeneous and unobserved by the researcher. The analysis is developed in the context of the Head Start Impact Study, a social experiment designed to evaluate preschools as part of Head Start, the largest early childhood education program in the United States. In this setting, resource constraints limit preschool slots to only a few eligible children through an assignment mechanism that is not observed in the data, which in turn introduces unobserved heterogeneity in the child's choice set of care settings. I propose a nonparametric model that explicitly accounts for latent choice sets in the care setting enrollment decision. In this model, I study various parameters that evaluate Head Start in terms of policies that mandate enrollment and also those that allow voluntary enrollment into Head Start. I show that the identified set for these parameters given the information provided by the study and by various institutional details of the setting can be constructed using a linear programming method. Applying the developed analysis, I find that a significant proportion of children voluntarily enroll into Head Start if provided access and that Head Start is effective in terms of improving short-term test scores across multiple policy dimensions.

연구 동기 및 목표

• 치료 선택지가 관측되지 않으며 개인 간 이질성이 존재하는 상황에서 프로그램 평가의 식별 도전 과제를 해결하기 위해.
• 데이터에 기록되지 않은 자원 제약에 기인한 할당 메커니즘이 원인으로서의 자원 제약에 기인한 간접적 치료 선택지의 이질성을 모델링하기 위해.
• 비모수적 방법을 사용하여 의무적 및 자발적 등록 정책 하에서 헤드스타트의 효과를 평가하기 위해.
• 헤드스타트 영향 연구의 관측 가능한 데이터와 기관적 세부 정보를 활용하여 정책 관련 파rameter의 식별 집합을 구축하기 위해.
• 제한된 접근성이 있는 사회 프로그램에 적용 가능한 잠재적 선택지가 존재하는 환경에서 인과적 추론을 위한 프레임워크를 제공하기 위해.

제안 방법

• 관측되지 않은 치료 선택지 이질성을 고려한 비모수적 구조 모델을 제안한다.
• 잠재적 선택지의 구조를 이해하기 위해 헤드스타트 할당 절차의 기관적 세부 정보를 통합한다.
• 부분 식별 하에서 정책 관련 파rameter의 식별 집합을 구성하기 위해 선형 프로그래밍을 사용한다.
• 관측된 데이터와 기관적 제약 조건을 만족하는 파arameter 집합을 특성화한다.
• 노출된 선호 원리(Revealed preference logic)를 활용하여 등록 패턴과 할당 규칙으로부터 잠재적 선택지를 추론한다.
• 모델을 헤드스타트 영향 연구에 적용하여 다양한 등록 정책 하에서 치료 효과의 범위를 추정한다.

실험 결과

연구 질문

• RQ1 관측되지 않은 선택지가 존재할 경우, 자발적 등록 정책 하에서 헤드스타트의 평균 치료 효과에 대한 식별 집합은 무엇인가?
• RQ2 모든 자격 있는 아동에게 등록을 의무화하는 정책 하에서, 헤드스타트 영향에 대한 식별 집합은 어떻게 변화하는가?
• RQ3 관측된 데이터와 기관적 제약 조건을 바탕으로, 접근성이 보장될 경우 아동들이 얼마나 자발적으로 헤드스타트를 선택하는가?
• RQ4 슬롯 할당을 규율하는 다양한 기관 규칙이 잠재적 선택지 존재 하에서 치료 효과의 식별에 어떤 영향을 미치는가?
• RQ5 다양한 정책 가정 하에서 단기 시험 성적에 대한 치료 효과의 범위는 무엇인가?

주요 결과

• 자격 있는 아동 중 상당한 비율이 접근성이 보장될 경우 자발적으로 헤드스타트에 등록할 것으로 나타나, 높은 수요가 있음을 시사한다.
• 헤드스타트는 의무적 등록 정책와 자발적 등록 정책를 포함한 다양한 정책 시나리오에서 단기 시험 성적 향상 효과를 보인다.
• 치료 효과에 대한 식별 집합이 비퇴화되어 있어, 관측되지 않은 선택지 이질성 존재하에서도 의미 있는 식별이 가능함을 나타낸다.
• 선형 프로그래밍 방법을 통해 가용 데이터와 기관적 세부 정보를 활용해 정책 관련 파arameter에 대한 날카운 경계를 성공적으로 구성하였다.
• 모델은 접근 제약 조건이 치료 효과의 해석에 상당한 영향을 미치며, 이를 명시적으로 모델링해야 함을 드러냈다.
• 결과는 헤드스타트가 의무 등록 정책 외에도 자발적 접근 하에서도 효과적이며, 긍정적인 결과를 낳을 잠재력이 크다는 것을 시사한다.