[论文解读] Constraint-Conditioned Policy Optimization for Versatile Safe Reinforcement Learning

Yihang Yao, Zuxin Liu+5 more|arXiv (Cornell University)|Oct 5, 2023

Adversarial Robustness in Machine LearningComputer Science被引用 3

一句话总结

本文提出了一种新型强化学习框架——条件约束策略优化（CCPO），通过通用价值估计（VVE）和条件变分推断（CVI），实现了在未见安全约束阈值下的零样本适应。CCPO在无需微调的情况下，以高数据效率实现了卓越的安全性和任务性能，在高维控制任务中优于基线方法。

ABSTRACT

Safe reinforcement learning (RL) focuses on training reward-maximizing agents subject to pre-defined safety constraints. Yet, learning versatile safe policies that can adapt to varying safety constraint requirements during deployment without retraining remains a largely unexplored and challenging area. In this work, we formulate the versatile safe RL problem and consider two primary requirements: training efficiency and zero-shot adaptation capability. To address them, we introduce the Conditioned Constrained Policy Optimization (CCPO) framework, consisting of two key modules: (1) Versatile Value Estimation (VVE) for approximating value functions under unseen threshold conditions, and (2) Conditioned Variational Inference (CVI) for encoding arbitrary constraint thresholds during policy optimization. Our extensive experiments demonstrate that CCPO outperforms the baselines in terms of safety and task performance while preserving zero-shot adaptation capabilities to different constraint thresholds data-efficiently. This makes our approach suitable for real-world dynamic applications.

研究动机与目标

• 解决训练通用安全强化学习策略以适应不同安全约束阈值而无需重新训练的挑战。
• 通过避免在所有可能的约束阈值上预训练，提升训练效率。
• 在保持强安全保证和任务性能的前提下，实现对未见成本阈值的零样本泛化。

提出的方法

• 提出通用价值估计（VVE），一种利用迁移学习原理将Q值泛化至未见约束阈值的价值函数表示学习方法。
• 采用条件变分推断（CVI），在训练期间将策略条件化于任意约束阈值，实现端到端可微的策略优化。
• 使用条件变分推断框架将策略建模为约束阈值的函数，使智能体在推理时能够推断新阈值下的行为策略。
• 在统一的在线训练范式中结合VVE与CVI，联合优化在条件约束下的策略与价值函数。
• 在推理过程的E步中应用凸优化，高效处理约束条件，确保安全性和稳定性。
• 采用行为策略条件化机制，实现在无需微调的情况下对新阈值的数据高效泛化。

实验结果

研究问题

• RQ1 能否训练单一安全强化学习策略，在无需重新训练或微调的情况下泛化至未见的安全约束阈值？
• RQ2 在部署期间，如何对先前未见的约束阈值估计价值函数？
• RQ3 在训练期间对策略施加约束阈值条件，对零样本泛化性能有何影响？
• RQ4 与基线约束强化学习方法相比，所提方法在安全性和数据效率方面表现如何？
• RQ5 该框架能否在多种阈值条件下维持高任务性能，同时确保低约束违规？

主要发现

• CCPO在成本违规方面显著更低（例如，Ball-Circle任务中为0.59 ± 0.31），相较于消融版本和基线方法，表现出强大的安全泛化能力。
• 在Ant-Run任务中，CCPO保持高奖励（660.88 ± 4.82）和低成本违规（3.13 ± 1.67），而消融版本CCPO w/o VVE的奖励降至428.59 ± 88.39，成本违规升至10.66 ± 11.81。
• 在Drone-Run任务中，CCPO w/o VVE版本的平均奖励下降25%，成本违规增加逾6倍，凸显VVE在价值泛化中的关键作用。
• CCPO w/o CVI版本表现出更高的成本违规（例如，Ball-Circle任务中为1.44 ± 0.72）和更低的奖励（641.33 ± 40.14），证明CVI在阈值条件化策略学习中的重要性。
• 如图2所示，CCPO在不同阈值条件下泛化平滑，性能曲线一致，表明约束条件被有效编码。
• 在高维状态和动作空间（如Ant-Run）中，所有基线方法均无法实现安全适应，而CCPO保持了稳健的性能与安全性。