[论文解读] Constrained Risk-Averse Markov Decision Processes

Mohamadreza Ahmadi, Ugo Rosolia+3 more|arXiv (Cornell University)|Dec 4, 2020

Bayesian Modeling and Causal Inference被引用 6

一句话总结

该论文提出了一种拉格朗日优化框架，用于为具有动态一致风险目标（如CVaR和EVaR）的约束马尔可夫决策过程合成马尔可夫策略。该方法将风险规避问题表述为差分凸规划（DCP），可通过严格凸-凹规划（DCCP）求解，并在不确定环境下的火星车导航任务中展现出优于期望成本最小化的更强鲁棒性。

ABSTRACT

We consider the problem of designing policies for Markov decision processes (MDPs) with dynamic coherent risk objectives and constraints. We begin by formulating the problem in a Lagrangian framework. Under the assumption that the risk objectives and constraints can be represented by a Markov risk transition mapping, we propose an optimization-based method to synthesize Markovian policies that lower-bound the constrained risk-averse problem. We demonstrate that the formulated optimization problems are in the form of difference convex programs (DCPs) and can be solved by the disciplined convex-concave programming (DCCP) framework. We show that these results generalize linear programs for constrained MDPs with total discounted expected costs and constraints. Finally, we illustrate the effectiveness of the proposed method with numerical experiments on a rover navigation problem involving conditional-value-at-risk (CVaR) and entropic-value-at-risk (EVaR) coherent risk measures.

研究动机与目标

• 解决在系统约束（如燃料或通信限制）下设计风险规避策略的挑战。
• 将约束MDP从总期望成本扩展到一般的一致风险度量，如CVaR和EVaR。
• 开发一种计算上可行的方法，用于合成次优策略，以提供真实约束风险规避问题的下界。
• 在不确定环境下的实际机器人路径规划中验证该框架的有效性。
• 将约束MDP的线性规划方法推广至风险规避设置。

提出的方法

• 在拉格朗日对偶框架内表述约束风险规避MDP问题，以同时处理约束和风险目标。
• 使用马尔可夫风险转移映射表示风险目标和约束，实现动态、时间一致的风险评估。
• 将优化问题重新表述为差分凸规划（DCP），可通过严格凸-凹规划（DCCP）求解。
• 利用DCCP框架迭代求解DCP，确保收敛至非凸问题的驻点。
• 将该方法应用于CVaR和EVaR风险度量，二者均为一致且广泛用于风险敏感决策。
• 离线求解所得优化问题，生成适用于实时机器人规划的策略。

实验结果

研究问题

• RQ1 能否为具有通用一致风险度量（超越总期望成本）的约束MDP开发统一的优化框架？
• RQ2 如何在保持时间一致性和动态规划结构的前提下，联合优化风险规避目标与系统约束？
• RQ3 使用DCP公式求解风险规避约束MDP的计算复杂度和可扩展性如何？
• RQ4 在不确定环境中，不同的一致风险度量（CVaR与EVaR）在鲁棒性和性能方面有何比较？
• RQ5 所提出的方法能否在不确定环境下的实际机器人路径规划中优于传统期望成本最小化？

主要发现

• 所提方法成功地将约束风险规避MDP表述为DCP，使DCCP框架能够求解。
• 在$20 \times 20$网格世界中，基于EVaR的策略在100次蒙特卡洛模拟中失败率为2%，优于CVaR（5%）和总期望（18%）。
• EVaR策略表现出最高鲁棒性，在较小网格（$10 \times 10$和$15 \times 15$）中失败率为0%，与其保守性质一致。
• CVaR公式所需计算时间显著更长（$20 \times 20$时为10.5秒），而EVaR仅需6.6秒，证实了其在计算效率上的先前发现。
• 风险规避目标的值遵循理论顺序：$\mathbb{E}(c) \leq \mathrm{CVaR}_{\varepsilon}(c) \leq \mathrm{EVaR}_{\varepsilon}(c)$，计算得到的状态值验证了这一点。
• 基于EVaR和CVaR的策略在高不确定性区域中对不确定障碍物的规避能力明显强于期望成本策略。