[論文レビュー] Optimal Rerandomization via a Criterion that Provides Insurance Against Failed Experiments

Adam Kapelner, Abba Μ. Krieger+2 more|arXiv (Cornell University)|May 8, 2019

Advanced Causal Inference Techniques参考文献 34被引用数 6

ひとこと要約

本稿では、観測された共変量の不均衡をバランスさせつつ、未観測の共変量の不均衡のリスクも考慮することで推定誤差を最小化する最適な再ランダム化設計を提案する。観測共変量のマハラノビス距離と未観測不均衡のロバストなリスク指標を組み合わせた基準を用い、最適な再ランダム化しきい値を特定することで、ランダム化試験における推定の精度と検出力が向上する。

ABSTRACT

We present an optimized rerandomization design procedure for a non-sequential treatment-control experiment. Randomized experiments are the gold standard for finding causal effects in nature. But sometimes random assignments result in unequal partitions of the treatment and control group visibly seen as imbalance in observed covariates. There can additionally be imbalance on unobserved covariates. Imbalance in either observed or unobserved covariates increases treatment effect estimator error inflating the width of confidence regions and reducing experimental power. "Rerandomization" is a strategy that omits poor imbalance assignments by limiting imbalance in the observed covariates to a prespecified threshold. However, limiting this threshold too much can increase the risk of contracting error from unobserved covariates. We introduce a criterion that combines observed imbalance while factoring in the risk of inadvertently imbalancing unobserved covariates. We then use this criterion to locate the optimal rerandomization threshold based on the practitioner's level of desired insurance against high estimator error. We demonstrate the gains of our designs in simulation and in a dataset from a large randomized experiment in education. We provide an open source R package available on CRAN named OptimalRerandExpDesigns which generates designs according to our algorithm.

研究の動機と目的

• ランダム化実験における共変量の不均衡が分散を増大させ、統計的検出力を低下させることを是正する。
• 観測共変量のバランスと未観測不均衡のリスクの間で最適にトレードオフを行う再ランダム化戦略を開発する。
• 推定誤差を最小化するための原理的でロバストなしきい値選択基準を提供する。
• 提案された設計のもとで、妥当な統計的推論（不偏推定と適切な仮説検定）を保証する。
• 臨床および教育的実験における実世界応用を可能にする、実用的でオープンソースの実装（Rパッケージを介して）を提供する。

提案手法

• 観測共変量の不均衡（マハラノビス距離で測定）と未観測不均衡のリスク項を組み合わせた基準を提案する。
• 正規分布または指定された正規分布からの逸脱を仮定したもとで、モデル不適合下での推定誤差の分布のロバストな近似を用いる。
• 期待推定分散を最小化するための最適化を適用し、しきい値 $a_*$ を特定する。これにより、観測および未観測不均衡のリスクをバランスさせる。
• 完全にバランスの取れたランダム化設計（BCRD）とグリーディペアスイッチングアルゴリズムを含む、柔軟な設計空間を採用する。これにより、不均衡の低減が促進される。
• カーネルベースの距離測度（例：ガウスカーネル）を用いて、共変量と結果の間の複雑な非線形関係をモデル化する。
• Rパッケージ `OptimalRerandExpDesigns` を介して、最適な再ランダム化設計を生成するソフトウェア実装を提供する。

実験結果

リサーチクエスチョン

• RQ1 未観測共変量の不均衡を考慮した場合に、処置効果推定誤差を最小化する最適な再ランダム化しきい値は何か？
• RQ2 標準的な再ランダム化と比較して、提案された基準は推定分散および実験的検出力の観点でどのように異なるか？
• RQ3 モデル不適合（例：非正規誤差）は、最適な再ランダム化設計の性能にどのような影響を与えるか？
• RQ4 グリーディペアスイッチングアルゴリズムの導入は、最適設計の効率性およびロバスト性にどのように影響するか？
• RQ5 さまざまな分布的仮定のもとで、提案手法は妥当な推論（不偏推定と正しい第一種誤り率）を維持できるか？

主な発見

• 提案された基準は、特にR²が高く、または未観測の交絡要因が存在する状況において、標準的な再ランダム化と比較して推定分散を顕著に低減する。
• 最適なしきい値 $a_*$ は、誤差分布の正規性からの逸脱に対してロバストであり、非正規設定でも正規性を仮定した場合の性能低下は最小限に抑えられる。
• シミュレーションおよび教育実験の実データから得られた結果は、本手法が実験の精度を向上させ、統計的検出力を高めることを示している。
• 低不均衡割り当てを生成するためのグリーディペアスイッチングアルゴリズムの導入により、設計の効率性が向上し、同時にランダムネスは損なわれない。
• Rパッケージ `OptimalRerandExpDesigns` を用いることで、実務家は最小限の計算負荷で最適な再ランダム化設計を実装できる。
• 本手法は、再ランダム化しきい値 $a$ の任意の選択に対しても、妥当な統計的推論（不偏推定量と適切にサイズ調整された仮説検定）を保証する。