[论文解读] Learning to Personalize Treatments When Agents Are Strategic.

Evan Munro|arXiv (Cornell University)|Nov 12, 2020

Advanced Causal Inference Techniques参考文献 20被引用 6

一句话总结

本文提出了一种动态实验方法，用于个性化治疗分配，能够考虑观测协变量中的策略行为，且在不假设个体激励参数形式的前提下实现线性遗憾衰减。当协变量对治疗规则具有内生性时，该方法优于标准风险最小化方法。

ABSTRACT

There is increasing interest in allocating treatments based on observed individual data: examples include heterogeneous pricing, individualized credit offers, and targeted social programs. Policy targeting introduces incentives for individuals to modify their behavior to obtain a better treatment. We show standard risk minimization-based estimators are sub-optimal when observed covariates are endogenous to the treatment allocation rule. We propose a dynamic experiment that converges to the optimal treatment allocation function without parametric assumptions on individual strategic behavior, and prove that it has regret that decays at a linear rate. We validate the method in simulations and in a small MTurk experiment.

研究动机与目标

• 解决当观测协变量对治疗规则具有内生性时，标准风险最小化在个性化治疗分配中表现次优的问题。
• 开发一种方法，即使个体存在策略性操纵，也能收敛到最优治疗分配函数。
• 证明所提出的方法可实现遗憾以线性速率衰减，从而确保随时间推移的高效学习。
• 通过模拟和一项小规模MTurk实验验证该方法。

提出的方法

• 该方法采用动态实验，根据观测结果和个体反应迭代调整治疗分配。
• 使用非参数估计方法学习最优治疗函数，而无需对策略行为的特定函数形式作出假设。
• 通过顺序实验，算法通过考虑协变量的内生性，确保收敛到最优治疗策略。
• 通过自适应应对策略响应，以平衡探索与利用的方式最小化遗憾。
• 该方法无需对个体激励进行参数建模，而是依赖于具有内生性校正的empirical risk minimization。
• 理论分析证明遗憾以线性速率衰减，表明算法能快速收敛到最优分配。

实验结果

研究问题

• RQ1 观测协变量中的策略行为如何影响标准风险最小化在个性化治疗分配中的表现？
• RQ2 在不假设个体策略响应参数模型的前提下，动态实验能否收敛到最优治疗分配函数？
• RQ3 在治疗分配中考虑协变量内生性时，学习算法的遗憾衰减速率是多少？
• RQ4 在存在策略性个体的设定下，所提出方法与标准估计器相比表现如何？
• RQ5 该方法在模拟和真实世界实验设置中在多大程度上可被验证？

主要发现

• 所提出的动态实验实现了以线性速率衰减的遗憾，表明其能快速收敛到最优治疗策略。
• 当协变量对治疗规则具有内生性时，由于策略性操纵，基于标准风险最小化的估计器表现次优。
• 该方法在无需对个体策略行为作参数假设的前提下，收敛到最优治疗分配函数。
• 模拟结果证实，与基线方法相比，该方法在策略行为下表现出更优性能。
• 小规模MTurk实验为该方法在真实世界环境中的有效性提供了实证验证。