[论文解读] Estimation of Optimal Dynamic Treatment Assignment Rules under Policy Constraint

Shosei Sakaguchi|arXiv (Cornell University)|Jun 9, 2021

Advanced Causal Inference Techniques参考文献 40被引用 6

一句话总结

本文提出了一种经验福利最大化方法，用于在政策约束下估计顺序决策中的最优动态处理分配规则。该方法引入了两种方法——逆向归纳法和联合估计法——实现了 $n^{-1/2}$-极小极大收敛速率和有限样本 regret 边界，并进一步扩展以处理跨期预算约束。

ABSTRACT

This paper studies statistical decisions for dynamic treatment assignment problems. Many policies involve dynamics in their treatment assignments where treatments are sequentially assigned to individuals across multiple stages and the effect of treatment at each stage is usually heterogeneous with respect to the prior treatments, past outcomes, and observed covariates. We consider estimating an optimal dynamic treatment rule that guides the optimal treatment assignment for each individual at each stage based on the individual's history. This paper proposes an empirical welfare maximization approach in a dynamic framework. The approach estimates the optimal dynamic treatment rule from panel data taken from an experimental or quasi-experimental study. The paper proposes two estimation methods: one solves the treatment assignment problem at each stage through backward induction, and the other solves the whole dynamic treatment assignment problem simultaneously across all stages. We derive finite-sample upper bounds on the worst-case average welfare-regrets for the proposed methods and show $n^{-1/2}$-minimax convergence rates. We also modify the simultaneous estimation method to incorporate intertemporal budget/capacity constraints.

研究动机与目标

• 开发一个统计框架，用于在具有异质处理效应的多阶段干预中实现最优动态处理分配。
• 解决顺序处理分配中的政策约束，如跨期预算或容量限制。
• 为基于实验或准实验研究的面板数据中动态处理规则的福利 regret 推导有限样本上界。
• 建立动态处理设定下估计方法的极小极大收敛速率。
• 将估计方法扩展以纳入现实政策应用中常见的结构性约束。

提出的方法

• 利用经验福利最大化方法，从实验或准实验设定下的面板数据中估计最优动态处理规则。
• 使用逆向归纳法分阶段求解处理分配问题，从最终阶段开始，逐步倒推。
• 提出一种联合估计方法，一次性优化所有阶段的处理规则，提升效率。
• 为两种估计方法推导最坏情况平均福利 regret 的有限样本上界。
• 在正则性条件下，建立所提估计量的 $n^{-1/2}$-极小极大收敛速率。
• 对联合方法进行修改，以纳入跨期预算或容量约束，确保在约束性政策环境中的可行性。

实验结果

研究问题

• RQ1 在给定个体历史的前提下，如何确定能最大化多阶段平均福利的最优动态处理规则？
• RQ2 如何在福利 regret 的有限样本保证下估计此类规则？
• RQ3 在存在异质处理效应的情况下，所提估计量的收敛速率如何？
• RQ4 如何将跨期约束（如预算限制）正式整合到动态处理分配中？
• RQ5 在 regret 和效率方面，逆向归纳法与联合估计法相比有何差异？

主要发现

• 所提的经验福利最大化方法实现了 $n^{-1/2}$-极小极大收敛速率，表明在估计中具有最优的统计效率。
• 为逆向归纳法和联合估计法均推导出最坏情况平均福利 regret 的有限样本上界。
• 联合估计法可修改以纳入跨期预算或容量约束，同时保持统计一致性。
• 逆向归纳法提供了一种计算高效的替代方案，并在 regret 方面具有强大的理论保证。
• 在正则性条件下，两种方法均达到最优收敛速率，证实了其在动态处理设定下的稳健性。
• 该框架适用于实验或准实验研究的面板数据，支持在顺序决策中进行因果推断。