[论文解读] A Regularized Approach to Sparse Optimal Policy in Reinforcement Learning

Xiang Li, Wenhao Yang+1 more|arXiv (Cornell University)|Mar 2, 2019

Reinforcement Learning in Robotics参考文献 40被引用 9

一句话总结

本文提出了一种通用的正则化马尔可夫决策过程（MDP）框架，将熵正则化扩展至强化学习中以生成稀疏、多模态的策略。通过引入灵活的正则化项，该方法可控制策略的稀疏性，并在高维动作空间中提升性能。实验验证表明，该方法在离散与连续环境中的离策略演员-critic算法下均展现出更优的稳定性和稀疏性控制能力。

ABSTRACT

We propose and study a general framework for regularized Markov decision processes (MDPs) where the goal is to find an optimal policy that maximizes the expected discounted total reward plus a policy regularization term. The extant entropy-regularized MDPs can be cast into our framework. Moreover, under our framework, many regularization terms can bring multi-modality and sparsity, which are potentially useful in reinforcement learning. In particular, we present sufficient and necessary conditions that induce a sparse optimal policy. We also conduct a full mathematical analysis of the proposed regularized MDPs, including the optimality condition, performance error, and sparseness control. We provide a generic method to devise regularization forms and propose off-policy actor critic algorithms in complex environment settings. We empirically analyze the numerical properties of optimal policies and compare the performance of different sparse regularization forms in discrete and continuous environments.

研究动机与目标

• 开发一种通用的正则化MDP框架，支持超越传统熵正则化的稀疏且多模态的最优策略。
• 识别正则化诱导最优策略稀疏性的充分必要条件。
• 分析正则化引入的性能误差，并指导连续动作空间中正则化形式的选择。
• 设计适用于复杂环境的多种正则化形式的离策略演员-critic算法。

提出的方法

• 形式化一种通用的正则化MDP框架，其目标是最大化期望折扣奖励与策略上的正则化项之和。
• 利用凸分析和广义贝尔曼方程推导正则化MDP的最优性条件。
• 提出一种通用方法，用于构建能诱导稀疏性的正则化形式，包括Tsallis熵以及新型形式如Exp(x)和Cos(x)。
• 基于重参数化技巧开发用于连续控制的离策略演员-critic算法，并利用经验回放提升训练稳定性。
• 采用基于梯度的策略更新规则，通过策略损失函数整合正则化项。
• 通过超参数调优和消融研究评估不同环境下的敏感性与性能表现。

实验结果

研究问题

• RQ1 哪些正则化形式可在MDP中诱导出稀疏的最优策略？其稀疏性的充分必要条件是什么？
• RQ2 正则化系数λ如何影响所学习策略的稀疏性与性能？
• RQ3 与标准熵正则化相比，所提框架在连续控制任务中能否降低性能误差？
• RQ4 在离散与连续环境中，不同正则化形式在收敛速度、稳定性与最终性能方面表现如何比较？
• RQ5 该框架在不牺牲样本效率或安全性的情况下，能在多大程度上支持多模态行为？

主要发现

• 所提框架广义化了熵正则化强化学习，且将Tsallis熵作为特例，通过熵指数实现稀疏性。
• 如Tsallis、Exp(x)和Cos(x)等正则化形式可诱导稀疏性，且稀疏程度可通过正则化系数λ进行调节。
• 与Shannon熵相比，Tsallis和Exp(x)正则化表现出更低的性能误差，使正则化后的最优值更接近真实最优值。
• 在连续控制任务（MuJoCo）中，Tsallis和Exp(x)正则化对λ的敏感性低于Shannon熵，后者在高λ值下无法收敛。
• 在Atari和MuJoCo环境中的实验结果表明，如Tsallis和Exp(x)等稀疏正则化方法相比标准熵正则化，能实现更稳定的训练和更优的样本效率。