[论文解读] Actor-Critic Algorithms for Risk-Sensitive Reinforcement Learning.

L. A. Prashanth, Mohammad Ghavamzadeh|arXiv (Cornell University)|Mar 25, 2014

Reinforcement Learning in Robotics参考文献 46被引用 4

一句话总结

本文提出了一种用于风险敏感强化学习的演员-评论家算法，该算法在折扣奖励和平均奖励的马尔可夫决策过程（MDP）中同时优化期望回报与与方差相关的风险度量。通过采用三倍时间尺度方法——时序差分（TD）评论家、策略梯度演员以及拉格朗日乘子的对偶上升法，该方法实现了向局部风险敏感最优策略的收敛，并在交通信号控制任务中得到了实证验证。

ABSTRACT

In many sequential decision-making problems we may want to manage risk by minimizing some measure of variability in rewards in addition to maximizing a standard criterion. Variance related risk measures are among the most common risk-sensitive criteria in finance and operations research. However, optimizing many such criteria is known to be a hard problem. In this paper, we consider both discounted and average reward Markov decision processes. For each formulation, we first define a measure of variability for a policy, which in turn gives us a set of risk-sensitive criteria to optimize. For each of these criteria, we derive a formula for computing its gradient. We then devise actor-critic algorithms that operate on three timescales a TD critic on the fastest timescale, a policy gradient (actor) on the intermediate timescale, and a dual ascent for Lagrange multipliers on the slowest timescale. In the discounted setting, we point out the difficulty in estimating the gradient of the variance of the return and incorporate simultaneous perturbation approaches to alleviate this. The average setting, on the other hand, allows for an actor update using compatible features to estimate the gradient of the variance. We establish the convergence of our algorithms to locally risk-sensitive optimal policies. Finally, we demonstrate the usefulness of our algorithms in a traffic signal control application.

研究动机与目标

• 解决在序列决策中平衡期望回报与回报方差的复杂风险敏感准则的优化挑战。
• 为折扣奖励与平均奖励MDP中的基于方差的风险度量建立统一框架。
• 推导包含回报方差或长期回报方差的风险敏感目标的梯度公式。
• 设计在复杂风险敏感优化下具备收敛性保证的稳定学习算法。
• 在涉及风险感知交通信号控制的实际应用中验证该方法的有效性。

提出的方法

• 针对折扣奖励与平均奖励MDP，使用回报的变异性度量（如方差）来构建风险敏感准则。
• 推导两种设定下方差的解析梯度，从而支持策略优化。
• 采用三倍时间尺度算法：在最快时间尺度上进行时序差分（TD）学习，在中间时间尺度上执行策略梯度更新，在最慢时间尺度上进行拉格朗日乘子的对偶上升。
• 在折扣设定中，使用同时扰动随机逼近（SPSA）来估计方差的不可计算梯度。
• 在平均奖励设定中，应用相容函数特征，以实现高效且一致的方差梯度估计。
• 通过拉格朗日松弛方法对风险度量施加约束，从而支持通过对偶上升法进行优化。

实验结果

研究问题

• RQ1 如何在折扣奖励与平均奖励MDP的强化学习目标函数中有效整合基于方差的风险度量？
• RQ2 是否存在一种稳定且收敛的算法框架，用于优化包含回报方差的风险敏感准则？
• RQ3 在计算上不可行的条件下，如何在折扣设定中可靠估计回报方差的梯度？
• RQ4 在平均奖励设定中，相容函数特征是否能实现准确且高效的方差梯度估计，以支持策略更新？
• RQ5 所提出的算法在现实世界应用（如交通信号控制）中，能在多大程度上提升风险感知决策能力？

主要发现

• 所提出的三倍时间尺度演员-评论家算法在折扣奖励与平均奖励设定下，均能收敛至局部风险敏感最优策略。
• 同时扰动随机逼近（SPSA）在折扣设定中有效实现了回报方差梯度的估计，克服了其计算不可行性。
• 在平均奖励设定中，相容特征使得方差梯度的估计更加一致且高效，从而简化了策略更新。
• 该算法在交通信号控制应用中成功降低了回报方差，同时保持了较高的期望回报。
• 实证结果表明，风险敏感策略在不同交通条件下的稳定性与鲁棒性方面，优于标准的风险中性策略。