[论文解读] Multi-Objective SPIBB: Seldonian Offline Policy Improvement with Safety Constraints in Finite MDPs

Harsh Satija, Philip S. Thomas+2 more|arXiv (Cornell University)|May 31, 2021

Sepsis Diagnosis and Treatment参考文献 53被引用 5

一句话总结

本文提出 Multi-Objective SPIBB，一种 Seldonian 离线强化学习方法，可在多个目标和安全约束下实现高概率性能保证的同时改进策略。该方法将带有基线自举的稳健策略迭代（Safe Policy Iteration with Baseline Bootstrapping）扩展至多目标、有限 MDP 环境，支持用户指定的权衡关系，在合成任务和重症监护任务中均展现出更高的数据效率与更强的安全性。

ABSTRACT

We study the problem of Safe Policy Improvement (SPI) under constraints in the offline Reinforcement Learning (RL) setting. We consider the scenario where: (i) we have a dataset collected under a known baseline policy, (ii) multiple reward signals are received from the environment inducing as many objectives to optimize. We present an SPI formulation for this RL setting that takes into account the preferences of the algorithm's user for handling the trade-offs for different reward signals while ensuring that the new policy performs at least as well as the baseline policy along each individual objective. We build on traditional SPI algorithms and propose a novel method based on Safe Policy Iteration with Baseline Bootstrapping (SPIBB, Laroche et al., 2019) that provides high probability guarantees on the performance of the agent in the true environment. We show the effectiveness of our method on a synthetic grid-world safety task as well as in a real-world critical care context to learn a policy for the administration of IV fluids and vasopressors to treat sepsis.

研究动机与目标

• 解决在环境交互成本高或风险大的离线强化学习设置下，安全、多目标策略改进的挑战。
• 确保改进后的策略在所有目标上至少与行为策略表现相当，防止性能下降。
• 在有限样本设置下提供高概率性能保证，缓解外推误差和目标错位的担忧。
• 通过偏好参数实现用户对冲突目标间权衡的控制，而无需领域专业知识。
• 开发一种理论基础扎实且可在现实世界应用（如医疗保健）中实际部署的方法。

提出的方法

• 将 Seldonian 框架适配至离线多目标强化学习，确保性能退化约束以高概率满足。
• 通过引入用户指定的偏好权重，将带有基线自举的稳健策略迭代（SPIBB）扩展至处理多个奖励函数。
• 使用加权双重稳健（WDR）估计器，在离线数据集上评估策略性能与约束，以降低方差。
• 将优化问题建模为约束型多目标规划问题，要求策略在任一目标上均不得劣于行为策略。
• 应用安全策略迭代循环，交替进行策略改进与基于统计界的安全约束验证。
• 集成基线自举技术，以提升样本效率并减少离线策略评估中的过估计偏差。

实验结果

研究问题

• RQ1 我们能否在保持相对于行为策略的高概率性能保证的前提下，将安全策略改进扩展至多目标离线强化学习？
• RQ2 如何在安全、离线的策略学习框架中整合用户对冲突目标的偏好？
• RQ3 所提出的方法是否在数据效率和约束满足方面优于现有的线性加权法或无约束离线强化学习基线？
• RQ4 该方法能否在重症监护等高风险领域实际部署，其中安全性和性能保证至关重要？
• RQ5 不同偏好权重如何影响主要目标与次要目标之间的权衡，同时确保任一目标均无性能下降？

主要发现

• 所提出的 Multi-Objective SPIBB 方法在性能上实现了高概率保证，确保新策略在任一目标上均不劣于行为策略。
• 在合成网格世界任务中，Multi-Objective SPIBB 相较于线性加权基线展现出更优的数据效率，尤其在高安全约束条件下优势明显。
• 在脓毒症治疗任务中，该方法成功学习到一种策略，将生存率提升至 97.68 ± 0.22，同时将罕见治疗使用率控制在 27.64 ± 1.11 的安全水平，优于基线方法。
• 该方法有效防止了约束违规：在所有测试配置中，策略在任一目标上的性能均未低于行为策略水平。
• 当用户偏好为 $[\lambda_0=1.0, \lambda_1=0.0]$ 时，方法实现了 97.68 ± 0.22 的生存回报与 27.64 ± 1.11 的罕见治疗回报，表明在不牺牲安全性的前提下对主要目标实现了强优化。
• 即使在高安全阈值（$\delta=0.9$）下，该方法仍保持约束满足，且在多次随机测试数据划分中均未观察到性能下降。