[论文解读] Cautious Reinforcement Learning via Distributional Risk in the Dual Domain

Junyu Zhang, Amrit Singh Bedi+2 more|arXiv (Cornell University)|Feb 27, 2020

Reinforcement Learning in Robotics参考文献 33被引用 10

一句话总结

本文提出了一种新颖的风险敏感强化学习框架，将谨慎性（caution）作为对偶域中线性规划的分布风险惩罚，通过带有KL散度正则化的随机原始-对偶方法实现高效、无模型的学习。该方法在样本复杂度上达到已知最优风险中性RL的边界，对状态空间和动作空间大小的依赖关系紧密，且在不增加计算成本的前提下显著提升了奖励累积的可靠性。

ABSTRACT

We study the estimation of risk-sensitive policies in reinforcement learning problems defined by a Markov Decision Process (MDPs) whose state and action spaces are countably finite. Prior efforts are predominately afflicted by computational challenges associated with the fact that risk-sensitive MDPs are time-inconsistent. To ameliorate this issue, we propose a new definition of risk, which we call caution, as a penalty function added to the dual objective of the linear programming (LP) formulation of reinforcement learning. The caution measures the distributional risk of a policy, which is a function of the policy's long-term state occupancy distribution. To solve this problem in an online model-free manner, we propose a stochastic variant of primal-dual method that uses Kullback-Lieber (KL) divergence as its proximal term. We establish that the number of iterations/samples required to attain approximately optimal solutions of this scheme matches tight dependencies on the cardinality of the state and action spaces, but differs in its dependence on the infinity norm of the gradient of the risk measure. Experiments demonstrate the merits of this approach for improving the reliability of reward accumulation without additional computational burdens.

研究动机与目标

• 通过基于长期状态-动作占用分布的新度量‘谨慎性’（caution）重新定义风险，以解决风险敏感强化学习中的时间不一致性问题。
• 通过在强化学习线性规划的对偶公式中嵌入谨慎性作为惩罚项，实现在风险下的高效、在线、无模型策略优化。
• 实现多项式时间收敛，样本复杂度与风险中性RL相当，同时保持强理论保证。
• 通过调节期望回报与分布风险之间的权衡，提升安全关键环境中奖励累积的可靠性。
• 通过块坐标上升法将框架扩展至非凸谨慎风险，同时保持收敛性。

提出的方法

• 将‘谨慎性’定义为基于策略长期状态-动作占用分布的风险度量，用于量化对偶域中的分布风险。
• 将强化学习问题重新表述为带有谨慎性惩罚的对偶域优化问题，通过引入惩罚项实现凸性，并可直接控制占用分布。
• 开发一种使用KL散度作为邻近项的随机原始-对偶算法，以稳定学习并确保在在线、无模型设置下的收敛性。
• 应用块坐标上升（BCA）方法将该方法扩展至非凸谨慎风险函数，同时保持理论收敛性。
• 采用马尔可夫决策过程的线性规划形式，并利用强对偶性推导对偶问题，从而高效计算策略梯度。
• 使用具有有界方差的基于样本的梯度估计，在标准假设下确保收敛性，并实现紧密的样本复杂度。

实验结果

研究问题

• RQ1 尽管风险规避MDP存在时间不一致性，风险敏感强化学习如何实现计算高效？
• RQ2 是否可以定义一种新的风险度量——‘谨慎性’，以捕捉长期策略行为并实现高效优化？
• RQ3 所提出的在线、无模型算法的样本复杂度是多少？与风险中性RL相比如何？
• RQ4 将KL散度作为邻近项引入原始-对偶方案，对收敛性和稳定性有何影响？
• RQ5 该方法能否扩展至非凸谨慎风险函数，同时保持收敛性保证？

主要发现

• 所提算法的样本复杂度为 $\mathcal{O}\left(\frac{| olimits\mathcal{S}||\mathcal{A}|\log(|\mathcal{S}||\mathcal{A}|)}{(1-\gamma)^4\epsilon^2}\left(1 + (1-\gamma)^2(c^2 + M^2)\right)\right)$，在状态空间和动作空间基数上的依赖关系与风险中性RL的最优边界一致。
• 该方法确保收敛性，满足 $\mathbb{E}[\|\lambda^{k^*}_* - \lambda^{k^*-1}\|^2] \leq \frac{4\epsilon}{M}$，表明迭代过程稳定且预期对偶间隙接近最优。
• 实验结果证实，该方法在不增加计算开销的前提下显著提升了奖励累积的可靠性。
• 带有KL正则化的随机原始-对偶算法在较弱假设下实现收敛，且对梯度和对偶变量稳定性具有理论保证。
• 块坐标上升扩展方法可处理非凸谨慎风险，同时保持收敛性，显著拓宽了方法的应用范围。
• 谨慎性度量有效捕捉了分布风险，实现了在平均回报与策略行为不确定性之间可调的权衡。