[论文解读] Safety-Aware Optimal Control of Stochastic Systems Using Conditional Value-at-Risk

Samantha Samuelson, Insoon Yang|arXiv (Cornell University)|Feb 22, 2018

Risk and Portfolio Optimization参考文献 19被引用 4

一句话总结

本文提出了一种基于条件风险价值（CVaR）的安全感知最优控制框架，用于量化随机系统的安全风险，实现将安全验证与最优控制统一于一体的综合方法。该方法通过构建一种风险约束的动态规划解法，计算出一种新型的风险约束安全集，为在不确定性下平衡性能与安全性提供了计算上可行的途径。

ABSTRACT

In this paper, we consider a multi-objective control problem for stochastic systems that seeks to minimize a cost of interest while ensuring safety. We introduce a novel measure of safety risk using the conditional value-at-risk and a set distance to formulate a safety risk-constrained optimal control problem. Our reformulation method using an extremal representation of the safety risk measure provides a computationally tractable dynamic programming solution. A useful byproduct of the proposed solution is the notion of a risk-constrained safe set, which is a new stochastic safety verification tool. We also establish useful connections between the risk-constrained safe sets and the popular probabilistic safe sets. The tradeoff between the risk tolerance and the mean performance of our controller is examined through an inventory control problem.

研究动机与目标

• 解决在不确定性下同时最小化代价函数并确保随机系统安全性的挑战。
• 通过将安全风险直接整合到最优控制公式中，克服传统概率安全验证与控制方法的局限性。
• 开发一种计算上可行的动态规划解法，避免分离的安全验证与控制步骤。
• 提出一种新的安全验证工具——风险约束安全集，该工具推广了概率安全集，支持风险感知的系统分析。
• 在实际的库存控制应用中，展示控制器性能（平均代价）与风险容忍度（CVaR约束）之间的权衡。

提出的方法

• 使用状态到集合距离的CVaR定义安全风险度量，其中集合 $A$ 表示安全运行区域。
• 通过极值表示将CVaR约束转化为可计算的期望约束，从而支持动态规划公式的构建。
• 对于具有有限支撑的扰动分布，可消除约束中对集合距离的计算需求，简化贝尔曼方程。
• 将风险约束安全集定义为：在可接受控制策略下，所有未来安全风险约束均可被满足的初始状态集合。
• 当系统动态为仿射且代价函数为凸时，使用凸优化算法求解重构后的贝尔曼方程。
• 建立风险约束安全集与经典概率安全集之间的联系，表明前者更具保守性且对风险更敏感。

实验结果

研究问题

• RQ1 如何量化随机系统中的安全风险，使其能反映超出简单概率阈值的尾部分布事件？
• RQ2 能否开发一种统一的最优控制框架，实现同时最小化代价与强制执行安全风险约束，而无需单独的安全验证步骤？
• RQ3 在采用基于CVaR的安全约束时，所得最优控制问题的计算结构是什么？
• RQ4 风险约束安全集与现有概率安全集之间有何关系，其在安全验证中提供了哪些优势？
• RQ5 在实际控制应用（如库存管理）中，平均性能与风险容忍度之间存在何种权衡？

主要发现

• 所提出的基于CVaR的安全风险度量相较于VaR或机会约束，能更优地捕捉尾部分布风险，因其考虑了最坏情况偏差的严重程度。
• 重构后的动态规划解法在计算上是可行的，可直接计算出风险约束的最优控制器。
• 风险约束安全集是一种新型验证工具，可识别在给定风险容忍度下可被安全控制的所有初始状态。
• 随着风险容忍度参数 $\delta$ 减小（约束更紧），平均总代价增加，清晰展示了代价与安全之间的权衡。
• 随时间倒推，时变风险约束安全集 $RS_{\alpha,\delta,t}(A)$ 逐渐缩小，反映出在时间范围缩短时保守性增强。
• 在库存控制示例中，较高的 $\delta$ 值对应更低的期望代价，但允许与安全集 $A=[0,100]$ 的更大偏差，清晰体现了风险与性能之间的权衡。