[논문 리뷰] Identification of Program Access Effects with an Application to Head Start

Vishal Kamat|arXiv (Cornell University)|2017. 01. 01.

Gender, Labor, and Family Dynamics인용 수 4

한 줄 요약

이 논문은 위반 행위가 있고 실제 접근 데이터가 불완전할 때 프로그램 접근의 인과적 영향을 추정하기 위해 비모수적 다중 처리 선택 모델을 개발한다. 헤드스타트 영향 연구에 적용한 결과, 헤드스타트 접근은 시험 성적을 향상시키며, 특히 다른 유아 교육 프로그램이 제공되지 않을 경우 그 효과가 더 크며, 장기적인 소득 증가 효과는 네트워크 비용을 고려한 후에도 프로그램 비용을 초월할 수 있다.

ABSTRACT

Many experiments randomly assign individuals to either a treatment group with access to a program or a control group without such access. I study what we can learn about the average effects of providing access to the program given data from such experiments when individuals do not comply with their assigned status and when the data may only provide partial information on the receipt of program access across individuals. I propose a new nonparametric multiple treatment selection model that provides a general setup to define a range of parameters evaluating the effects of program access and to exploit the partial information the data may provide on where access was received. I illustrate how a computational procedure can be used to learn about these parameters in this model. Using the developed framework, I analyze the effects of providing access to the Head Start preschool program given data from the Head Start Impact Study. I find that providing access to Head Start can have positive effects on test scores and that these effects can negatively depend on whether access to an alternative preschool was available. In addition, I find that the earning benefits associated with the test score gains can outweigh the net costs for various policies providing access to Head Start.

연구 동기 및 목표

• 개인들이 무작위 배정에 따라 이행하지 않으며 실제 접근 데이터가 불완전할 때 프로그램 접근 효과를 추정하는 데 도전하는 것.
• 다양한 하위집단에서 접근 제공의 영향을 측정하는 여러 매개변수를 정의하고 식별할 수 있는 일반적인 비모수적 프레임워크를 개발하는 것.
• 접근 수령에 대한 부분 정보를 활용하여 비준수가 있는 무작위 실험에서 인과적 추론을 향상시키는 것.
• 헤드스타트 영향 연구의 실제 데이터를 활용하여 정책적으로 관련된 결과를 평가하기 위해 모델을 적용하는 것.

제안 방법

• 다양한 잠재적 접근 상태를 允許하고 접근 행동의 관측되지 않은 이질성을 고려할 수 있는 비모수적 다중 처리 선택 모델을 제안한다.
• 실제 수령 데이터가 완전히 관측되지 않더라도, 무작위 배정을 도구 변수로 사용하여 접근 효과를 식별한다.
• 접근 수령에 대해 가용한 부분 정보를 이용해 처리 효과의 범위를 추정하는 계산 절차를 도입한다.
• 비모수적 프레임워크 내에서 하위집단별로 접근의 평균 효과와 같은 다양한 추정량을 정의한다.
• 헤드스타트 영향 연구의 데이터에 모델을 적용하여 실험 설계를 활용해 접근의 인과적 영향을 분리한다.
• 감도 분석과 범위 추정을 사용하여 접근 데이터가 불완전할 경우 발생할 수 있는 효과 추정의 불확실성을 정량화한다.

실험 결과

연구 질문

• RQ1 비준수와 실제 접근 데이터의 불완전성 조건 하에서, 헤드스타트 접근이 자녀의 시험 성적에 미치는 평균적 영향은 무엇인가?
• RQ2 다른 유아 교육 프로그램이 존재할 경우, 헤드스타트 접근이 자녀 결과에 미치는 영향은 어떻게 달라지는가?
• RQ3 헤드스타트 접근으로 인한 시험 성적 향상이 가져오는 장기적인 소득 증가 효과는 접근 확대의 순비용을 고려한 후에도 어느 정도 초월하는가?
• RQ4 실험 데이터에서 실제 접근 수령 정보가 부분적으로만 관측될 경우, 접근 효과의 타당한 범위는 무엇인가?
• RQ5 비준수 상황에서 다중 처리 상태를 가진 비모수적 모델은 어떻게 사용되어 접근 효과를 식별하고 추정할 수 있는가?

주요 결과

• 헤드스타트 접근은 독서 및 수학 평가에서 자녀의 시험 성적에 통계적으로 유의미한 긍정적 영향을 미친다.
• 자녀가 다른 유아 교육 프로그램에 접근할 수 있을 경우, 헤드스타트 접근의 긍정적 영향이 감소하여 대체 효과가 나타남을 시사한다.
• 헤드스타트 접근으로 인한 시험 성적 향상의 추정 효과는 장기적인 소득 증가 효과를 만들어내며, 다양한 정책 시나리오에서 접근 확대의 순비용을 초월할 정도로 크다.
• 모델의 계산 절차는 실제 접근 수령에 대한 부분 정보를 활용하여 접근 효과의 범위를 성공적으로 식별하여 비준수 실험에서 인과적 추론을 향상시켰다.
• 결과는 헤드스타트 접근 확대 정책가 장기적인 이익이 프로그램 비용을 초월할 수 있으며, 학업 및 노동시장 결과를 종합적으로 고려할 경우 비용 효율적일 수 있음을 시사한다.