[论文解读] Policy Gradient for Coherent Risk Measures

Aviv Tamar, Yinlam Chow+2 more|arXiv (Cornell University)|Feb 13, 2015

Risk and Portfolio Optimization参考文献 31被引用 35

一句话总结

本文提出了一种统一的策略梯度框架，用于强化学习中的相干风险度量，推广了以往针对特定风险度量（如CVaR和方差）的研究。该框架引入了基于采样的算法以处理静态相干风险，并采用演员-评论家方法处理时间一致的动态风险，从而在完整的一致风险度量类别中实现可扩展、风险敏感的强化学习，且具备理论一致性和收敛性保证。

ABSTRACT

Several authors have recently developed risk-sensitive policy gradient methods that augment the standard expected cost minimization problem with a measure of variability in cost. These studies have focused on specific risk-measures, such as the variance or conditional value at risk (CVaR). In this work, we extend the policy gradient method to the whole class of coherent risk measures, which is widely accepted in finance and operations research, among other fields. We consider both static and time-consistent dynamic risk measures. For static risk measures, our approach is in the spirit of policy gradient algorithms and combines a standard sampling approach with convex programming. For dynamic risk measures, our approach is actor-critic style and involves explicit approximation of value function. Most importantly, our contribution presents a unified approach to risk-sensitive reinforcement learning that generalizes and extends previous results.

研究动机与目标

• 开发一种适用于强化学习中整个相干风险度量类别的通用策略梯度方法。
• 将风险敏感强化学习从特定风险度量（如CVaR或方差）扩展到任意相干风险度量。
• 提供一种时间一致的动态风险公式，支持在序列决策中使用演员-评论家学习。
• 在单一、一致的理论框架下统一并推广先前关于风险敏感策略梯度的研究成果。
• 通过采样和凸优化技术，确保在大规模或连续MDP中的可扩展性与一致性。

提出的方法

• 提出一种基于采样和凸优化的新型静态相干风险梯度公式，用于近似风险敏感策略梯度。
• 引入一种基于采样的算法，结合蒙特卡洛轨迹采样与凸优化，以估计一般静态相干风险的梯度。
• 推导出动态马尔可夫相干风险的策略梯度定理，将梯度与风险敏感值函数关联。
• 采用演员-评论家架构，通过显式值函数近似处理时间一致的动态风险度量。
• 利用访问分布与转移动态，通过矩阵求逆和扰动分析推导出一致的梯度估计器。
• 应用随机规划与鲁棒MDP的研究成果，以确保理论收敛性与稳定性。

实验结果

研究问题

• RQ1 如何将策略梯度推广至适用于强化学习中整个相干风险度量类别？
• RQ2 何种正确的梯度公式适用于静态相干风险，以实现高效的基于采样的估计？
• RQ3 如何将时间一致的动态风险度量整合进演员-评论家强化学习框架中？
• RQ4 能否开发一种统一框架，涵盖先前针对CVaR、方差及均值-方差优化的方法？
• RQ5 基于采样的策略梯度方法在相干风险目标下，可建立哪些理论保证（如一致性、收敛性）？

主要发现

• 所提方法统一并推广了先前关于风险敏感强化学习的研究，将已知的CVaR与方差结果作为特例包含在内。
• 推导出一种适用于静态相干风险的新梯度公式，该公式适合采样与凸优化，支持实际实现。
• 对于动态风险，建立了策略梯度定理，将梯度与风险敏感值函数关联，支持演员-评论家学习。
• 证明了理论一致性：随着样本数量增加，估计的策略梯度收敛至相干风险目标下的真实梯度。
• 通过结合采样、凸优化与值函数近似，该方法可扩展至大规模或连续MDP。
• 框架在动态相干风险下被证明等价于鲁棒MDP，从而与成熟的鲁棒控制理论建立联系。