[論文レビュー] Optimal Multilevel Matching in Clustered Observational Studies: A Case Study of the Effectiveness of Private Schools Under a Large-Scale Voucher System

Luke Keele, José R. Zubizarreta|arXiv (Cornell University)|Sep 30, 2014

Advanced Causal Inference Techniques参考文献 6被引用数 5

ひとこと要約

本稿は、集団に割り当てられる処置が個人の結果に影響を与える集団化観察研究における、新しい最適な多段階マッチング戦略を提案する。従来の常識を逆転させ、まず集団間で個人をマッチングした後、集団同士をマッチングする。動的および整数プログラミングを用いて、傾向スコア推定を必要とせず、個人および集団の両レベルで共変量のバランスを達成する。チリの全国的学費補助制度下での私学の効果を評価するために応用し、完全な共変量調整後、私学に顕著なテストスコアの優位性は認められなかった。

ABSTRACT

A distinctive feature of a clustered observational study is its multilevel or nested data structure arising from the assignment of treatment, in a non-random manner, to groups or clusters of units or individuals. Examples are ubiquitous in the health and social sciences including patients in hospitals, employees in firms, and students in schools. What is the optimal matching strategy in a clustered observational study? At first thought, one might start by matching clusters of individuals and then, within matched clusters, continue by matching individuals. But as we discuss in this paper, the optimal strategy is the opposite: in typical applications, where the intracluster correlation is not perfect, it is best to first match individuals and, once all possible combinations of matched individuals are known, then match clusters. In this paper we use dynamic and integer programming to implement this strategy and extend optimal matching methods to hierarchical and multilevel settings. Among other matched designs, our strategy can approximate a paired clustered randomized study by finding the largest sample of matched pairs of treated and control individuals within matched pairs of treated and control clusters that is balanced according to specifications given by the investigator. This strategy directly balances covariates both at the cluster and individual levels and does not require estimating the propensity score, although the propensity score can be balanced as an additional covariate. We illustrate our results with a case study of the comparative effectiveness of public versus private voucher schools in Chile, a question of intense policy debate in the country at the present.

研究の動機と目的

• 処置が集団レベルで割り当てられ、結果が個人レベルで測定される集団化観察研究における共変量の不均衡の問題に対処すること。
• 個人および集団の両レベルで共変量を同時にバランスさせるマッチング戦略を開発し、多段階データ構造における因果推論を改善すること。
• 傾向スコア推定に依存しないが、その追加のバランス変数としての組み込みを可能にする方法を提供すること。
• チリの全国的補助制度下での私学の効果を評価する事例研究を通じて、この手法の実用性を示すこと。

提案手法

• 従来のマッチング順序を逆転させる：まず、処置群および対照群のすべての組み合わせの集団間で個人をマッチングし、その後に集団同士をマッチングする。
• 動的および整数プログラミングを用いて最適マッチングを実装し、合計共変量距離を最小化するか、バランス制約下でサンプルサイズを最大化する。
• 最適マッチング（距離を最小化）と基数マッチング（バランスの取れたサンプルサイズを最大化）の両方をサポートし、共変量の分布全体をバランスさせることも可能。
• この手法は、両レベルでの観察された共変量を直接バランスさせることができ、マッチドペアとしての集団および個人のペアを形成することで、ペア化された集団化ランダム化実験に近似する。
• 3段階以上（例：地域内の学校内の生徒）への拡張が可能で、未観測の交絡要因に対する感度分析も支援する。

実験結果

リサーチクエスチョン

• RQ1 処置が集団レベルで割り当てられる集団化観察研究において、最適なマッチング戦略は何か？
• RQ2 集団より先に個人をマッチングすることで、従来の集団優先マッチングと比較して、両レベルでの共変量バランスが向上するか？
• RQ3 傾向スコア推定を伴わずに、個人および集団の両レベルでバランスを達成できるマッチング戦略は可能か？
• RQ4 この手法は、全国的補助制度下での私学の効果を評価するような現実の政策文脈で、どのように機能するか？
• RQ5 チリの補助制度事例研究において、未観測の交絡要因に対して、結果の妥当性はどの程度頑健か？

主な発見

• 提案手法は、個人および集団の両レベルで共変量を適切にバランスさせ、マッチング後の私立校生徒と公立校生徒の都市部居住率および社会経済的地位の差を低減した。
• マッチング後、私立校の都市部居住率は、マッチング前の79％から85％に上昇し、全サンプルとより一致する水準に近づいた。
• マッチング後のサンプルでは、私立校生徒と公立校生徒の標準化テストスコアにほとんど差が認められ、言語スコアはそれぞれ244.84および244.92であった。
• 完全な共変量調整後、私立補助校が公立校よりも学生の学力向上に顕著な優位性を示さなかった。
• 感度分析により、未観測の交絡要因による隠れたバイアスに対して結果が頑健であることが示され、研究の内部妥当性が支持された。
• この手法は、処置群および対照群の集団とその中での個人をマッチングペアとして形成することで、ペア化された集団化ランダム化実験に成功裏に近似した。