[论文解读] Counterfactually Guided Policy Transfer in Clinical Settings

Taylor W. Killian, Marzyeh Ghassemi+1 more|arXiv (Cornell University)|Jun 20, 2020

Machine Learning in Healthcare参考文献 70被引用 6

一句话总结

本文提出了一种反事实正则化方法，用于在存在领域偏移和数据稀缺的临床环境中进行离策略强化学习。通过利用数据丰富的源领域生成信息丰富的反事实样本，并利用源策略的KL散度对目标策略进行正则化，该方法在模拟脓毒症场景中显著提升了治疗策略的迁移性能。

ABSTRACT

Reliably transferring treatment policies learned in one clinical environment to another is currently limited by challenges related to domain shift. In this paper we address off-policy learning for sequential decision making under domain shift -- a scenario susceptible to catastrophic overconfidence -- which is highly relevant to a high-stakes clinical settings where the target domain may also be data-scarce. We propose a two-fold counterfactual regularization procedure to improve off-policy learning, addressing domain shift and data scarcity. First, we utilize an informative prior derived from a data-rich source environment to indirectly improve drawing counterfactual example observations. Then, these samples are then used to learn a policy for the target domain, regularized by the source policy through KL-divergence. In simulated sepsis treatment, our counterfactual policy transfer procedure significantly improves the performance of a learned treatment policy.

研究动机与目标

• 解决从数据丰富的临床环境向存在领域偏移的数据稀缺目标领域迁移治疗策略的挑战。
• 缓解在高风险临床条件下离策略学习中的灾难性过度自信问题。
• 通过利用反事实推理和源领域先验知识，提升目标领域中的策略泛化能力。
• 开发一种结合反事实采样与源策略KL散度蒸馏的正则化框架。

提出的方法

• 利用数据丰富的源环境为目标领域生成信息丰富的反事实示例。
• 通过扰动源策略轨迹中的动作来构建反事实观测，同时保持结果一致性。
• 使用这些反事实样本训练目标策略，以提升其鲁棒性和泛化能力。
• 通过与源策略的KL散度对目标策略进行正则化，以保留有益的行为模式。
• 在顺序决策框架中应用该方法，用于临床治疗策略。
• 在模拟脓毒症治疗环境中评估该方法，以评估策略迁移性能。

实验结果

研究问题

• RQ1 反事实正则化能否在存在领域偏移和数据稀缺的临床环境中提升离策略学习性能？
• RQ2 利用数据丰富的源领域生成反事实示例，如何增强向数据稀缺目标领域的策略迁移？
• RQ3 与源策略的KL散度正则化在多大程度上能防止目标策略出现灾难性过度自信？
• RQ4 所提出的方法是否在模拟临床治疗场景中优于标准的离策略学习基线？

主要发现

• 反事实策略迁移过程显著提升了在模拟脓毒症环境中学习到的治疗策略性能。
• 利用数据丰富的源领域生成的反事实示例，增强了目标领域中的策略泛化能力。
• 与源策略的KL散度正则化有效降低了过度自信，提升了离策略学习的稳定性。
• 该方法在领域偏移和数据稀缺条件下表现出鲁棒性，这是现实世界临床部署中的关键挑战。