[论文解读] Algorithms for CVaR Optimization in MDPs

Yinlam Chow, Mohammad Ghavamzadeh|arXiv (Cornell University)|Jun 12, 2014

Risk and Portfolio Optimization参考文献 30被引用 67

一句话总结

本文提出了用于马尔可夫决策过程（MDPs）中均值-条件风险价值（mean-CVaR）优化的策略梯度与演员-critic算法，推导出风险敏感目标函数的新型梯度公式。该文建立了算法收敛至局部最优策略的理论结果，并在最优停止问题中验证了其有效性，提供了增量式与基于轨迹的估计方法，具有严格的理论保证——扩展了先前工作，提供了收敛性证明，并将适用范围扩展至离散与连续损失分布。

ABSTRACT

In many sequential decision-making problems we may want to manage risk by minimizing some measure of variability in costs in addition to minimizing a standard criterion. Conditional value-at-risk (CVaR) is a relatively new risk measure that addresses some of the shortcomings of the well-known variance-related risk measures, and because of its computational efficiencies has gained popularity in finance and operations research. In this paper, we consider the mean-CVaR optimization problem in MDPs. We first derive a formula for computing the gradient of this risk-sensitive objective function. We then devise policy gradient and actor-critic algorithms that each uses a specific method to estimate this gradient and updates the policy parameters in the descent direction. We establish the convergence of our algorithms to locally risk-sensitive optimal policies. Finally, we demonstrate the usefulness of our algorithms in an optimal stopping problem.

研究动机与目标

• 通过在MDPs中优化均值-CVaR目标，解决风险敏感的序列决策问题，以平衡期望成本与尾部风险。
• 推导均值-CVaR目标函数的闭式梯度，用于策略参数更新。
• 开发既支持增量式也支持基于轨迹的梯度估计的策略梯度与actor-critic算法。
• 建立所提算法渐近收敛至局部风险敏感最优策略的理论结果。
• 在非平凡的最优停止问题中，验证所提算法的实际有效性。

提出的方法

• 利用策略的价值函数与优势函数推导均值-CVaR目标的梯度，实现策略参数的更新。
• 通过使用访问度量与期望回报的公式化表达，将梯度表示为状态-动作访问频率的形式。
• 提出适用于策略梯度与actor-critic框架的增量式与基于轨迹的梯度估计器。
• 采用常微分方程（ODE）方法证明算法的渐近收敛性。
• 引入投影方程公式化方法，结合函数逼近（如基函数的线性函数逼近）实现价值函数逼近。
• 利用优势函数分解，将梯度表达为策略对数导数与动作价值函数的组合。

实验结果

研究问题

• RQ1 如何在MDPs中对均值-CVaR目标的梯度进行解析推导，以支持策略优化？
• RQ2 能否设计出具备收敛性保证的策略梯度与actor-critic算法，以优化均值-CVaR？
• RQ3 增量式与基于轨迹的梯度估计方法在性能与方差降低方面有何差异？
• RQ4 在随机逼近框架下，所提算法的理论收敛行为如何？
• RQ5 在如最优停止等实际风险敏感控制任务中，所提方法表现如何？

主要发现

• 本文推导出均值-CVaR目标的闭式梯度表达式，使策略参数可通过策略梯度方法进行更新。
• 所提的策略梯度与actor-critic算法在ODE方法下渐近收敛至局部风险敏感最优策略。
• 算法支持离散与连续损失分布，扩展了以往仅限于连续情况的工作。
• actor-critic变体相比标准策略梯度方法方差更低，提升了样本效率。
• 基于轨迹的估计与增量式估计方法均有效，后者支持在线学习。
• 在最优停止问题中的实证结果验证了所提算法的实际效用与鲁棒性。