[論文レビュー] Optimal Stratification of Survey Experiments

Max Cytrynbaum|arXiv (Cornell University)|Nov 16, 2021

Advanced Causal Inference Techniques被引用数 6

ひとこと要約

本稿は、代表的サンプリングとバランスの取れた処置割り当てを同時に最適化する細かく階層化された設計を用いて、予算制約のもとで分散を最小化することで、非パrametricな分散低減と漸近的効率性を達成する二段階最適階層化フレームワークを導入する。実世界の実験への応用では、有意な精度の向上が得られている。

ABSTRACT

This paper studies a two-stage model of experimentation, where the researcher first samples representative units from an eligible pool, then assigns each sampled unit to treatment or control. To implement balanced sampling and assignment, we introduce a new family of finely stratified designs that generalize matched pairs randomization to propensities p(x) not equal to 1/2. We show that two-stage stratification nonparametrically dampens the variance of treatment effect estimation. We formulate and solve the optimal stratification problem with heterogeneous costs and fixed budget, providing simple heuristics for the optimal design. In settings with pilot data, we show that implementing a consistent estimate of this design is also efficient, minimizing asymptotic variance subject to the budget constraint. We also provide new asymptotically exact inference methods, allowing experimenters to fully exploit the efficiency gains from both stratified sampling and assignment. An application to nine papers recently published in top economics journals demonstrates the value of our methods.

研究の動機と目的

• 調査実験における非代表的サンプリングと不均衡な処置割り当てが引き起こす実験的設計の非効率性を是正すること。
• サンプリングと処置割り当ての両段階を統合的に最適化し、処置効果推定の分散を最小化する統一フレームワークの開発。
• 異方的コストに強く、固定された実験予算のもとで効率的な推論を可能にする設計の提供。
• 予算制約のもとで、異方的なサンプリングおよび割り当ての確率を形式化し、最適設計問題を解くこと。
• 階層化サンプリングと割り当ての両方の利点を完全に活用する漸近的に正確な推論を可能にすること。

提案手法

• 共変量が処置効果の異質性を予測する能力に優れるグループを用いて、細かく階層化されたサンプリングによるユニットの選択を最初の段階として行う二段階実験設計を提案。
• 推定効率性に関連する目的関数を最小化するように、サイズ$k$の同質的グループを形成する新しいマッチングアルゴリズムを用いる。
• 処置割り当てに細かく階層化されたランダム化を適用し、割り当て確率$p(x) \neq 1/2$を任意に一般化する。
• 局所的ランダム化メカニズムを導入し、階層化のもとで条件付き独立性と設計ベースの推論を保証する。
• 固定された予算のもとで漸近的分散を最小化する制約付き最適化問題を解き、最適なサンプリング強度$q^*(x)$と割り当て確率$p^*(x)$を導出する。
• 階層化サンプリングと割り当ての両方を考慮した新しい漸近的に正確な推論手法を開発し、複雑な設計下でも有効な推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 処置効果推定の分散を低減するために、サンプリングと処置割り当てを統合的に最適化することで、実験設計をどのように改善できるか？
• RQ2 予算が固定されており、ユニットごとのコストが異なる状況で、サンプリングと割り当て確率を最適に割り当てる方法は何か？
• RQ3 処置効果の異質性が存在する状況で、細かく階層化されたサンプリングは、単純無作為抽出と比べて分散をどのように低減するか？
• RQ4 非漸近的分散を最小化する制約のもとで、最適設計の一貫した推定を実務的に効率的に実装できるか？
• RQ5 提案された設計が、平均処置効果のHahn（1998）分散バインドを達成するための条件は何か？

主な発見

• 細かく階層化されたサンプリングは、処置効果の異質性に起因する分散を、真の実験サイズではなく、サンプリングされたユニット数に比例する有効サンプルサイズのスケーリングによって低減する。
• 提案された設計は、細かく階層化された割り当てのもとで、平均処置効果のHahn（1998）分散バインドを達成し、設計上、非パrametric回帰補正を実現する。
• サンプリングに最適な階層化変数は、処置効果の異質性を最もよく予測するものであり、Bai（2022）の結果を拡張する。
• 異方的コストのもとでは、最適なサンプリング強度$q^*(x)$と割り当て確率$p^*(x)$は、漸近的分散を最小化する制約付き最適化問題の解として導出される。
• 本手法は、サンプリングと割り当ての両方の階層化による利点を完全に活用する漸近的に正確な推論を可能にし、9本の主要経済学ジャーナル論文への応用により妥当性が検証された。
• 実証的応用では顕著な効率性の向上が得られ、標準誤差が標準的な実験設計と比べて著しく低減した。