[论文解读] Model-Predictive Control via Cross-Entropy and Gradient-Based Optimization

Homanga Bharadhwaj, Kevin Xie+1 more|arXiv (Cornell University)|Apr 19, 2020

Reinforcement Learning in Robotics参考文献 20被引用 12

一句话总结

本文提出GradCEM，一种混合规划方法，通过交错使用交叉熵法（CEM）与基于梯度的优化，提升高维动作空间中的模型预测控制性能。通过结合CEM的全局搜索能力与梯度下降的快速收敛特性，该方法实现更快的优化速度，避免局部极小值，并在多极值问题上达到或超越CEM的性能表现。

ABSTRACT

Recent works in high-dimensional model-predictive control and model-based reinforcement learning with learned dynamics and reward models have resorted to population-based optimization methods, such as the Cross-Entropy Method (CEM), for planning a sequence of actions. To decide on an action to take, CEM conducts a search for the action sequence with the highest return according to the dynamics model and reward. Action sequences are typically randomly sampled from an unconditional Gaussian distribution and evaluated on the environment. This distribution is iteratively updated towards action sequences with higher returns. However, this planning method can be very inefficient, especially for high-dimensional action spaces. An alternative line of approaches optimize action sequences directly via gradient descent, but are prone to local optima. We propose a method to solve this planning problem by interleaving CEM and gradient descent steps in optimizing the action sequence. Our experiments show faster convergence of the proposed hybrid approach, even for high-dimensional action spaces, avoidance of local minima, and better or equal performance to CEM. Code accompanying the paper is available here https://github.com/homangab/gradcem.

研究动机与目标

• 解决纯交叉熵方法（CEM）在高维动作空间中因缺乏梯度引导而随机采样导致的效率低下问题。
• 克服纯基于梯度的规划在非凸、高维控制任务中固有的局部极小值问题。
• 开发一种可扩展、鲁棒的规划框架，结合CEM的全局探索能力与梯度下降的快速收敛特性。
• 通过可微分的动力学模型与奖励模型，实现在基于模型的强化学习中的有效规划。
• 为复杂机器人控制场景提供一种实用、高效的替代方案，相较于群体优化或纯基于梯度的规划器更具优势。

提出的方法

• 交错执行CEM与梯度下降步骤：使用梯度下降优化动作序列，随后利用表现最佳的序列更新CEM的采样分布。
• 维护随时间演化的动作序列高斯分布，初始时使用随机采样，并通过使用表现最优的K条轨迹迭代更新CEM分布。
• 应用基于梯度的优化方法，通过反向传播计算学习到的动力学模型与奖励模型的梯度，以获得累积奖励相对于动作的梯度。
• 利用更新后的CEM分布重新初始化梯度下降过程，从而实现从局部极小值中逃逸。
• 通过迭代更新优化动作序列：$\bar{a}_{0:H}^{(k)} := \bar{a}_{0:H}^{(k-1)} + \alpha \nabla_{\bar{a}} \bar{R}(\bar{a}_{0:H}^{(k-1)}, \bar{s}_{0:H}^{(k-1)})$。
• 利用可微分模型高效计算梯度，实现在高维连续控制任务中的可扩展优化。

实验结果

研究问题

• RQ1 交错使用CEM与梯度下降是否能提升高维模型预测控制中的收敛速度？
• RQ2 在非凸规划问题中，该混合方法是否能更有效地避免局部极小值，优于纯CEM？
• RQ3 在存在模型偏差或初始值不佳的情况下，通过CEM周期性重初始化是否能稳定并增强基于梯度的优化？
• RQ4 与现有规划基线相比，该方法在复杂高维机器人控制任务中的可扩展性如何？
• RQ5 在多极值环境中，该混合方法在样本效率与最终性能方面是否保持或提升？

主要发现

• 所提出的GradCEM方法在高维动作空间中收敛速度优于纯CEM，该结论在连续控制基准测试中得到验证。
• GradCEM成功避免了纯基于梯度的规划器常陷入的局部极小值，尤其在存在多个奖励峰值的环境中表现更优。
• 在多极值问题中，GradCEM的性能达到或优于CEM，同时保持了基于梯度方法的收敛速度。
• 通过利用CEM的全局搜索能力引导梯度下降，该方法对模型偏差和不完善的动力学模型表现出鲁棒性。
• 实验结果表明，交错使用CEM与梯度下降可带来比单一方法更稳定、更有效的规划性能。
• 该方法在高维连续控制任务中表现出良好的可扩展性，在优化速度与解的质量方面均优于纯CEM与仅基于梯度的基线方法。