[論文レビュー] Identification of Program Access Effects with an Application to Head Start

Vishal Kamat|arXiv (Cornell University)|Jan 1, 2017

Gender, Labor, and Family Dynamics被引用数 4

ひとこと要約

本稿は、不完全な順守と実際のアクセスデータの不完全性がある状況下で、プログラムへのアクセスが与える因果効果を推定する非パラメトリックな複数処置選択モデルを開発する。ヘッドスタートインパactsスタディに適用した結果、ヘッドスタートへのアクセスはテストスコアを向上させることが判明した。特に代替の幼稚園が利用できない場合に顕著であり、長期的な収入の増加は、純費用を差し引いた後でも、プログラムの費用を上回る可能性がある。

ABSTRACT

Many experiments randomly assign individuals to either a treatment group with access to a program or a control group without such access. I study what we can learn about the average effects of providing access to the program given data from such experiments when individuals do not comply with their assigned status and when the data may only provide partial information on the receipt of program access across individuals. I propose a new nonparametric multiple treatment selection model that provides a general setup to define a range of parameters evaluating the effects of program access and to exploit the partial information the data may provide on where access was received. I illustrate how a computational procedure can be used to learn about these parameters in this model. Using the developed framework, I analyze the effects of providing access to the Head Start preschool program given data from the Head Start Impact Study. I find that providing access to Head Start can have positive effects on test scores and that these effects can negatively depend on whether access to an alternative preschool was available. In addition, I find that the earning benefits associated with the test score gains can outweigh the net costs for various policies providing access to Head Start.

研究の動機と目的

• 個人が割り当てに従わない場合や、実際のアクセスに関するデータが不完全な状況で、プログラムアクセス効果を推定する課題に対処すること。
• プログラムへのアクセス提供が与える影響を測るパラメータの範囲を定義・同定する一般化された非パラメトリックフレームワークを構築すること。
• アクセス受領に関する部分的情報を活用して、非順守を伴うラウンド化実験における因果推論を改善すること。
• ヘッドスタートインパクトスタディの現実世界のデータを用いて、政策に関連する結果を評価するため、モデルを応用すること。

提案手法

• 複数の潜在的アクセス状態を許容し、アクセス行動における未観測の異質性を考慮する非パラメトリックな複数処置選択モデルを提案する。
• 実際の受領が完全に観測されない場合でも、割り当てをインストゥルメントとして用いてアクセス効果を同定する。
• アクセス受領に関する利用可能な部分的情報を用いて、処置効果の境界を推定する計算手順を導入する。
• 非パラメトリックフレームワーク内で、異なるサブグループにおけるアクセスの平均効果といった複数の推定量（estimands）を定義する。
• 実験的デザインを活用して、ヘッドスタートインパクトスタディのデータにモデルを適用し、アクセスの因果効果を分離する。
• 感度分析と境界推定を用いて、アクセスデータの不完全性に起因する効果推定の不確実性を定量化する。

実験結果

リサーチクエスチョン

• RQ1 非順守と実際のアクセスに関する不完全なデータがある状況下で、ヘッドスタートへのアクセス提供が子供のテストスコアに与える平均的効果は何か？
• RQ2 代替の幼稚園プログラムの存在が、ヘッドスタートアクセスの子供の結果に与える影響をどのように緩和するか？
• RQ3 ヘッドスタートアクセスによるテストスコアの上昇がもたらす長期的収入の利益は、アクセス拡大の純費用をどの程度上回るか？
• RQ4 実際のアクセス受領が実験データ内で部分的にしか観測されない場合、アクセス効果の妥当な範囲は何か？
• RQ5 非順守が存在する状況で、複数の処置状態を有する非パラメトリックモデルは、どのようにアクセス効果を同定・推定できるか？

主な発見

• ヘッドスタートへのアクセス提供は、特にリーディングおよび算数の評価において、子供のテストスコアに統計的に有意な正の効果をもたらす。
• 子供が代替の幼稚園プログラムにアクセスできる場合、ヘッドスタートアクセスの正の効果は低下し、代替効果（substitution effect）が顕在化する。
• ヘッドスタートアクセスによるテストスコアの上昇は、十分に大きく、さまざまな政策的状況下で、アクセス拡大の純費用を上回る長期的収入の利益を生み出す。
• モデルの計算手順は、実際のアクセス受領に関する部分的情報を用いて、アクセス効果の境界を的確に特定でき、非順従実験における因果推論を強化した。
• 結果から、学業的および労働市場の結果を併せて考慮すると、ヘッドスタートへのアクセス拡大政策は費用対効果に優れている可能性がある。