[論文レビュー] Designing Representative and Balanced Experiments by Local Randomization

Max Cytrynbaum|arXiv (Cornell University)|Jan 1, 2021

Advanced Causal Inference Techniques参考文献 30被引用数 4

ひとこと要約

本稿では、2段階実験設定における代表的かつバランスの取れた実験設計のための統一的枠組みとして、局所的ランダム化を導入する。ベースライン共変量を活用して参加者を選定し、治療割り当てを行うことで、有効サンプルサイズを増加させ、モデルフリーの回帰補正を可能にし、より効率的な推定量と、信頼区間がより狭い漸近的に正確な推論を実現する。

ABSTRACT

This paper studies treatment effect estimation in a novel two-stage model of experimentation. In the first stage, using baseline covariates, the researcher selects units to participate in the experiment from a sample of eligible units. Next, they assign each selected unit to one of two treatment arms. We relate estimator efficiency to representative selection of participants and balanced assignment of treatments. We define a new family of local randomization procedures, which can be used for both selection and assignment. This family nests stratified block randomization and matched pairs, the most commonly used designs in practice in development economics, but also produces many useful new designs, embedding them in a unified framework. When used to select representative units into the experiment, local randomization boosts effective sample size, making estimators behave as if they were estimated using a larger experiment. When used for treatment assignment, local randomization does model-free non-parametric regression adjustment by design. We give novel asymptotically exact inference methods for locally randomized selection and assignment, allowing experimenters to report smaller confidence intervals if they designed a representative experiment. We apply our methods to the setting of two-wave design, where the researcher has access to a pilot study when designing the main experiment. We use local randomization methods to give the first fully efficient solution to this problem.

研究の動機と目的

• 参加者選定と治療割り当てがベースライン共変量に基づいて行われる実験設計における非効率性と代表性の欠如を是正すること。
• ストラティファイド・ブロック・ランダム化やマッチド・ペアなど、一般的な設計を、選定と割り当てのための単一の枠組みに統合すること。
• 代表的な選定によって有効サンプルサイズを増加させることで、推定量の効率性を向上させること。
• 治療割り当て段階で設計的に非パラメトリックな回帰補正を可能にすること。
• 代表的な実験設計を念頭に置いた漸近的に正確な推論手法を開発し、信頼区間をより狭くすること。

提案手法

• ベースライン共変量を用いて局所的近傍を定義し、選定と割り当てに用いる局所的ランダム化手順の族を提案する。
• 共変量空間における近接性に基づく選定および割り当てルールを定義し、代表的かつバランスの取れた設計を保証する。
• ストラティファイド・ブロック・ランダム化とマッチド・ペアを、局所的ランダム化枠組み内での特殊ケースとして統合する。
• 局所的ランダム化を用いて設計的に非パラメトリックな回帰補正を実現し、事後モデリングの仮定に依存しなくなるようにする。
• 局所的ランダム化下での選定および割り当てについて、漸近的に正確な推論手順を導出する。
• パイロットデータが本実験の選定と割り当てを決定する2ウェーブ設計に、この枠組みを適用する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、選ばれたユニットがターゲット母集団を代表するようにしながらも、治療のバランスを維持できる実験設計を改善できるか？
• RQ2 マッチド・ペアやブロック・ランダム化といった既存の代表的設計を統合できる統一的枠組みは何か？ また、これにより新たな効率的代替手法が可能になるか？
• RQ3 局所的ランダム化は、有効サンプルサイズをどの程度増加させ、推定量の効率性をどの程度向上させるか？
• RQ4 局所的ランダム化を用いて、設計的にモデルフリーの回帰補正をどのように達成できるか？
• RQ5 局所的ランダム化による選定および割り当てに対して、漸近的に正確な推論を開発できるか？ その結果、信頼区間がより正確になるか？

主な発見

• 局所的ランダム化は、代表的な選定を保証することで有効サンプルサイズを増加させ、推定量がより大きな実験から得られたものと同様に振る舞うようにする。
• この手法により、設計的にモデルフリーの非パラメトリック回帰補正が可能になり、事後モデリングの仮定に依存しなくなる。
• 局所的ランダム化下では、漸近的に正確な推論が可能であり、研究者がより小さく信頼性の高い信頼区間を報告できる。
• この枠組みにより、パイロットデータが本実験に影響を与える2ウェーブ設計問題に対して、完全に効率的な解決策が初めて得られた。
• 局所的ランダム化は、マッチド・ペアやブロック・ランダム化といった標準的手法を包含・一般化し、より広範な効率的代替手法のクラスを提供する。
• 潜在的アウトカムや選定メカニズムのパラメトリックモデリングを必要とせず、推定量の効率性を向上させることができる。