[論文レビュー] Policy design in experiments with unknown interference

Davide Viviano, Rudder, Jess|arXiv (Cornell University)|Nov 16, 2020

Advanced Causal Inference Techniques被引用数 4

ひとこと要約

本稿は、観察されないネットワーク的相互作用を伴うクラスタにグループ化された単位における、未知の干渉下での政策評価のための実験設計を提案する。単一波の実験により、スプライバーを考慮したマージナル処置効果を推定し、複数波の実験により、福祉最大化のための処置ルールを学習する。理論的保証と大規模な現実世界のフィールド実験による実証的検証を伴う。

ABSTRACT

This paper studies experimental designs for estimation and inference on policies with spillover effects. Units are organized into a finite number of large clusters and interact in unknown ways within each cluster. First, we introduce a single-wave experiment that, by varying the randomization across cluster pairs, estimates the marginal effect of a change in treatment probabilities, taking spillover effects into account. Using the marginal effect, we propose a test for policy optimality. Second, we design a multiple-wave experiment to estimate welfare-maximizing treatment rules. We provide strong theoretical guarantees and an implementation in a large-scale field experiment.

研究の動機と目的

• 干渉効果が存在するがネットワーク構造が不明または測定不能である状況における政策設計の課題に対処すること。
• スプライバーのパターンに関する知識が限られた状況でも、福祉最大化のための処置ルールを推定する実験的手法を開発すること。
• 観察されないネットワーク的干渉を伴う設定において、推論と政策学習の理論的保証を提供すること。
• 実世界のデータを用いた大規模なフィールド実験への実装を通じて、提案手法の妥当性を検証すること。
• 標準的な処置効果推定と、干渉下における福祉最大化のための政策設計の間のギャップを埋めること。

提案手法

• クラスターペア間の処置確率を変化させることで、スプライバーを考慮したマージナル効果を推定する単一波の実験を導入する。
• 推定されたマージナル効果を用いて、政策最適性の形式的検定を構築し、処置確率の上昇が福祉を向上させるかどうかを検証する。
• 逐次学習とレグルム最小化を用いて、段階的に最適な処置ルールを学習する複数波の実験設計を提案する。
• 収束保証付きのスケーリングスキームを複数波の設計で採用し、$1/t$ および $1/\sqrt{t}$ の段階的学習レートを用いる。
• 先行研究（例：Cai et al., 2015）からの実証的データを用いてスプライバー効果をキャリブレーションし、現実的な干渉パターンを模擬する。
• パキスタンにおける大規模なフィールド実験に手法を適用し、IRB承認と登録を経て、Precision Developmentおよびパキスタン経済研究所のデータを用いる。

実験結果

リサーチクエスチョン

• RQ1 干渉ネットワークが不明かつ測定不能な状況下で、実験設計がどのように福祉最大化のための処置ルールを推定できるか。
• RQ2 スプライバーを考慮しつつ、処置確率の変化に伴うマージナル効果の妥当な推論を可能にする実験設計は何か。
• RQ3 理論的保証（レグルムと収束）を伴う複数波の実験設計は、最適な処置ルールを学習できるか。
• RQ4 クラスターサイズとクラスタ数が、政策最適性検定のパワーにどのように影響するか。
• RQ5 提案手法による適応的学習法を用いることで、ベースライン戦略に比べて相対的にどの程度の福祉向上が達成されるか。

主な発見

• 単一波の実験では、異なるクラスターサイズとクラスタ数において、5%サイズの検定で90–97%のカバレッジを達成し、クラスターサイズとクラスタ数が増加するにつれてパワーが上昇する。
• 複数波の実験では、$n=600$, $K=20$, $T=20$ の条件下で、平均的なアウトオブサンプルの福祉向上が最大36.0%に達する。
• 最も深刻なクラスタ構成においても、インサンプルの最大レグルムが0.294–0.387にまで低下し、堅牢な性能を示す。
• シミュレーション実験において、$1/t$ スケーリングを用いた適応的学習ルールは、非適応的 $1/\sqrt{t}$ ルールに比べてより速い収束と低いレグルムを達成する。
• 処置確率を10%上昇させた場合の相対的福祉向上は、強いスプライバー（$\alpha=0.4$）の下で最大24.4%に達し、帰無仮説が棄却された場合に顕著に現れる。
• Alatas et al. (2012) および Cai et al. (2015) の実世界データに基づくキャリブレーションを経たシミュレーションにおいて、最適な処置ルールが的確に同定されたことから、実用的意義が裏付けられる。