[论文解读] Learning When-to-Treat Policies

Xinkun Nie, Emma Brunskill+1 more|arXiv (Cornell University)|May 23, 2019

Advanced Causal Inference Techniques参考文献 95被引用 12

一句话总结

本文提出了一种优势双重稳健（ADR）估计器，用于在序列不可忽略性假设下，从观察性数据中学习动态的治疗时机策略，无需马尔可夫假设即可实现策略优化。该方法实现了尖锐的非参数后悔界，并在多种设置下展现出强劲的实证性能，相较于拟合Q迭代等方法在可解释性和稳定性方面表现更优。

ABSTRACT

Many applied decision-making problems have a dynamic component: The policymaker needs not only to choose whom to treat, but also when to start which treatment. For example, a medical doctor may choose between postponing treatment (watchful waiting) and prescribing one of several available treatments during the many visits from a patient. We develop an "advantage doubly robust" estimator for learning such dynamic treatment rules using observational data under the assumption of sequential ignorability. We prove welfare regret bounds that generalize results for doubly robust learning in the single-step setting, and show promising empirical performance in several different contexts. Our approach is practical for policy optimization, and does not need any structural (e.g., Markovian) assumptions.

研究动机与目标

• 解决在存在时变协变量的场景下，学习包含*何时*治疗和*何种*治疗的动态治疗规则的挑战。
• 开发一种方法，确保对扰动分量（如治疗倾向）模型误设的稳健性，而无需依赖马尔可夫性等结构假设。
• 为动态设置中的策略学习提供非参数后悔界，推广单步情形下的双重稳健结果。
• 通过可解释、结构化的策略类（如线性阈值）实现实际的策略优化，支持公平性、可实施性及资源约束。
• 通过在非参数设置下实现尖锐的半参数后悔界，弥合批量强化学习与静态策略学习之间的差距。

提出的方法

• 提出一种优势双重稳健（ADR）估计器，结合逆概率加权与结果回归，在序列不可忽略性假设下估计动态治疗策略的价值。
• 采用两阶段估计程序：首先在每个时间步分别使用非参数估计器（如机器学习）对扰动函数——治疗倾向和潜在结果——进行建模。
• 定义一种策略价值估计器，利用当前与下一治疗状态下的潜在结果值之差，实现高效的方差减少。
• 通过从预设的参数族（如线性阈值）中选择最优策略来执行策略优化，确保可解释性和可实施性。
• 采用双重稳健结构，只要结果回归或倾向得分模型之一正确指定，即可保持一致性。
• 避免递归模型拟合（与拟合Q迭代不同），而是将扰动估计与策略优化解耦，以提升稳定性和可解释性。

实验结果

研究问题

• RQ1 我们能否开发一种适用于动态治疗时机问题的策略学习方法，使其在不假设马尔可夫结构的前提下，仍对模型误设保持稳健？
• RQ2 如何在非参数框架下，将单步情形下的双重稳健估计推广至动态治疗设置，同时保持尖锐的后悔界？
• RQ3 与拟合Q迭代等现有方法相比，所提出的ADR估计器在策略价值估计和后悔方面的表现如何？
• RQ4 该方法能否学习到可解释、结构化的策略（如线性阈值），以支持医疗和公共政策中的实际部署？
• RQ5 在具有复杂高维协变量和时变治疗决策的有限样本条件下，ADR估计器的表现如何？

主要发现

• ADR估计器实现了非参数后悔界，推广了单步策略学习中双重稳健结果，确保在更弱假设下的一致性。
• 实证结果表明，ADR在策略价值估计和稳定性方面优于拟合Q迭代，尤其在高噪声或数据稀缺的场景下表现更优。
• 在模拟实验中，ADR始终能学习到最优的线性阈值策略，而拟合Q迭代即使在真实策略为线性时，也生成复杂且难以解释的策略。
• 该方法在二值和多值治疗设置中均保持强劲性能，价值估计误差（MSE）显著低于基线方法。
• ADR方法实现了可靠的策略优化，无需递归的非参数回归，避免了拟合Q迭代中常见的不稳定性和偏差问题。
• 可视化结果证实，ADR学习到了可解释的、时变的决策规则（如基于状态变量的阈值），而Q-Opt则产生不透明、难以解释的策略。