[論文レビュー] Estimation of Optimal Dynamic Treatment Assignment Rules under Policy Constraint

Shosei Sakaguchi|arXiv (Cornell University)|Jun 9, 2021

Advanced Causal Inference Techniques参考文献 40被引用数 6

ひとこと要約

本稿は、政策制約下における順次的意思決定において最適な動的処置割り当てルールを推定するための経験的福祉最大化アプローチを提案する。2つの手法—後退的インダクションと同時推定—を導入し、$n^{-1/2}$-ミニマックス収束速度と有限標本におけるレグレットバウンドを達成し、時間的予算制約への拡張も含む。

ABSTRACT

This paper studies statistical decisions for dynamic treatment assignment problems. Many policies involve dynamics in their treatment assignments where treatments are sequentially assigned to individuals across multiple stages and the effect of treatment at each stage is usually heterogeneous with respect to the prior treatments, past outcomes, and observed covariates. We consider estimating an optimal dynamic treatment rule that guides the optimal treatment assignment for each individual at each stage based on the individual's history. This paper proposes an empirical welfare maximization approach in a dynamic framework. The approach estimates the optimal dynamic treatment rule from panel data taken from an experimental or quasi-experimental study. The paper proposes two estimation methods: one solves the treatment assignment problem at each stage through backward induction, and the other solves the whole dynamic treatment assignment problem simultaneously across all stages. We derive finite-sample upper bounds on the worst-case average welfare-regrets for the proposed methods and show $n^{-1/2}$-minimax convergence rates. We also modify the simultaneous estimation method to incorporate intertemporal budget/capacity constraints.

研究の動機と目的

• 異質的処置効果を伴う複数段階の干渉において、最適な動的処置割り当てを統計的に枠組みづけること。
• 順次的処置割り当てにおける時間的予算制約や能力制限などの政策制約に対処すること。
• 実験的または準実験的研究からのパネルデータに基づく動的処置ルールの福祉レグレットの有限標本上界を導出すること。
• 動的処置設定における推定手法のミニマックス収束速度を確立すること。
• 現実の政策応用で一般的な構造的制約を組み込むために推定手法を拡張すること。

提案手法

• 実験的または準実験的設定におけるパネルデータから、最適な動的処置ルールを経験的福祉最大化を用いて推定する。
• 最終段階から始まり、後退的に段階を進める後退的インダクションを用いて、処置割り当て問題を段階的に解く。
• すべての段階で同時に処置ルールを最適化する同時推定法を提案し、推定の効率性を向上させる。
• 両方の推定手法について、最悪ケース平均福祉レグレットの有限標本上界を導出する。
• 正則性条件の下で、提案された推定量の $n^{-1/2}$-ミニマックス収束速度を確立する。
• 時間的予算または能力制約を組み込むために、同時推定法を修正し、制約付き政策環境での妥当性を保証する。

実験結果

リサーチクエスチョン

• RQ1 個々の履歴が与えられたもとで、複数段階にわたる平均福祉を最大化する最適な動的処置ルールは何か？
• RQ2 福祉レグレットの有限標本保証を伴って、そのようなルールをどのように推定できるか？
• RQ3 異質的処置効果が存在する状況下で、提案された推定量の収束速度は何か？
• RQ4 時間的制約（例えば予算制限）を動的処置割り当てに形式的に統合する方法は何か？
• RQ5 後退的インダクションと同時推定の両者を、レグレットと効率性の観点から比較するとどうなるか？

主な発見

• 提案された経験的福祉最大化アプローチは、推定における最適な統計的効率性を示す $n^{-1/2}$-ミニマックス収束速度を達成する。
• 後退的インダクションおよび同時推定法の両方について、最悪ケース平均福祉レグレットの有限標本上界が導出された。
• 同時推定法は、時間的予算または能力制約を組み込むように修正可能であり、統計的一致性を保つ。
• 後退的インダクション法は、レグレットに関する強固な理論的保証と計算効率性を兼ね備える代替手法を提供する。
• 両手法とも正則性条件の下で最適な収束速度を達成し、動的処置設定におけるその頑健性を確認する。
• 本フレームワークは、実験的または準実験的研究からのパネルデータに適用可能であり、順次的意思決定における因果推論を可能にする。