[论文解读] Continuous-Discrete Reinforcement Learning for Hybrid Control in Robotics

Michael Neunert, Abbas Abdolmaleki+8 more|arXiv (Cornell University)|Jan 2, 2020

Reinforcement Learning in Robotics参考文献 27被引用 27

一句话总结

本文提出 Hybrid MPO，一种数据高效的强化学习算法，可原生处理机器人控制中的混合连续与离散动作空间。通过联合优化离散的“元动作”（如动作重复或注意力选择）与连续动作，该方法实现了更优的探索能力、减少了机械磨损，并提升了性能，且无需依赖专家设计的启发式方法或近似处理。

ABSTRACT

Many real-world control problems involve both discrete decision variables - such as the choice of control modes, gear switching or digital outputs - as well as continuous decision variables - such as velocity setpoints, control gains or analogue outputs. However, when defining the corresponding optimal control or reinforcement learning problem, it is commonly approximated with fully continuous or fully discrete action spaces. These simplifications aim at tailoring the problem to a particular algorithm or solver which may only support one type of action space. Alternatively, expert heuristics are used to remove discrete actions from an otherwise continuous space. In contrast, we propose to treat hybrid problems in their 'native' form by solving them with hybrid reinforcement learning, which optimizes for discrete and continuous actions simultaneously. In our experiments, we first demonstrate that the proposed approach efficiently solves such natively hybrid reinforcement learning problems. We then show, both in simulation and on robotic hardware, the benefits of removing possibly imperfect expert-designed heuristics. Lastly, hybrid reinforcement learning encourages us to rethink problem definitions. We propose reformulating control problems, e.g. by adding meta actions, to improve exploration or reduce mechanical wear and tear.

研究动机与目标

• 解决现有强化学习算法在处理混合控制问题时的局限性，即通过将离散动作近似为连续动作或反之。
• 消除对专家设计的离散控制变量启发式方法的依赖，以避免扭曲真实的控制问题。
• 实现对连续与离散动作的原生联合优化，以保留问题的结构特征并提升学习效率。
• 通过引入离散元动作重新构建控制问题，以应对强化学习中常见的挑战，如探索困难与机械磨损。
• 在仿真环境与真实机器人硬件上，包括Furuta摆和Control Suite环境在内的复杂任务中，验证混合强化学习的有效性。

提出的方法

• 提出 Hybrid MPO，一种无需模型、数据高效的强化学习算法，在单一策略梯度框架内联合优化连续与离散动作。
• 引入如“重复上一动作”或“选择下一个执行器”等离散元动作，以实现可变的控制频率与分层控制策略。
• 使用可微分的软最大（soft-max）或 argmax 操作选择离散动作，同时保持策略网络中的梯度流动。
• 将该方法应用于非分层的混合问题与分层的 PAMDP（参数化动作空间马尔可夫决策过程），展示其广泛适用性。
• 将动作重复作为离散动作集成，以解耦探索行为与控制频率，从而降低机械应力。
• 将方法扩展至“动作-注意力”设置，其中每次仅控制一个执行器，以模拟控制权限受限的情况。

实验结果

研究问题

• RQ1 单一强化学习算法能否在混合控制问题中有效同时优化连续与离散动作？
• RQ2 使用如动作重复等离散元动作是否能在不降低学习性能的前提下改善探索并减少机械磨损？
• RQ3 与近似方法（如将连续动作离散化或使用专家启发式）相比，原生混合强化学习在样本效率与最终性能方面表现如何？
• RQ4 混合强化学习能否支持新型问题建模（如动作-注意力或可变速率控制），从而提升控制质量或系统寿命？
• RQ5 在稀疏奖励或高维动作空间环境中，混合强化学习方法在多大程度上提升了学习效率？

主要发现

• Hybrid MPO 在仿真环境与真实机器人硬件（包括 Furuta 摆和 Control Suite 任务）中成功解决了混合控制问题，且未对离散动作进行近似处理。
• 引入“执行或重复”（act-or-repeat）的离散动作可提升探索能力，通过实现可变控制频率，生成更平滑的轨迹并减少机械磨损。
• 即使在高维 Control Suite 环境中，动作重复的使用也未降低学习速度或最终性能，且提供了一种实用的手段以解耦探索与控制频率。
• 在“动作-注意力”设置中，即每次仅控制一个执行器时，智能体学习到了有效的替代策略，如在游泳者任务中实现波浪式运动，或在行走者任务中实现“下蹲”步态。
• 在一般混合问题中，该方法在性能上优于基于连续策略的混合算法，尤其当离散动作对问题结构至关重要时。
• 通过去除专家设计的启发式方法，该方法表明原生混合强化学习可获得更优解与更鲁棒的控制策略，尤其在易受磨损的机械系统中表现更优。