[论文解读] Learning Locomotion Skills Using DeepRL: Does the Choice of Action Space Matter?

Xue Bin Peng, Michiel van de Panne|arXiv (Cornell University)|Nov 3, 2016

Reinforcement Learning in Robotics参考文献 30被引用 67

一句话总结

本文研究了动作空间选择对运动控制中深度强化学习的影响，比较了力矩、肌肉激活度、目标关节角和目标关节速度等参数化方式。在多种平面机器人和步态的步态周期模仿任务中，更高级别的动作空间（如目标关节角）显著提升了学习效率、策略鲁棒性、运动质量，并降低了查询频率。

ABSTRACT

The use of deep reinforcement learning allows for high-dimensional state descriptors, but little is known about how the choice of action representation impacts learning and the resulting performance. We compare the impact of four different action parameterizations (torques, muscle-activations, target joint angles, and target joint-angle velocities) in terms of learning time, policy robustness, motion quality, and policy query rates. Our results are evaluated on a gait-cycle imitation task for multiple planar articulated figures and multiple gaits. We demonstrate that the local feedback provided by higher-level action parameterizations can significantly impact the learning, robustness, and motion quality of the resulting policies.

研究动机与目标

• 理解不同动作表征如何影响深度强化学习中运动控制的策略学习。
• 评估在不同动作参数化方式下，学习速度、策略鲁棒性、运动质量和查询效率之间的权衡。
• 确定在复杂运动控制任务中，更高级别的动作空间（如目标关节角）是否相较于低级别控制（如力矩）具有优势。

提出的方法

• 评估了四种动作参数化方式：关节力矩、肌肉激活度、目标关节角和目标关节角速度。
• 在多个平面连杆机构上应用深度强化学习框架，执行步态周期模仿任务。
• 通过基于运动相似性的奖励塑形策略，训练策略以模仿专家示范。
• 通过训练时间、对扰动的鲁棒性、运动质量（如平滑性、稳定性）以及策略查询频率来衡量学习性能。
• 在多种步态和机器人形态上进行实验，以评估泛化能力。
• 分析了高级动作空间中局部反馈作为提升学习效率的关键机制。

实验结果

研究问题

• RQ1 动作空间的选择如何影响深度强化学习在运动控制任务中的样本效率？
• RQ2 使用更高级别的动作表征（如目标关节角）是否能带来更鲁棒且更高质量的运动控制策略？
• RQ3 在推理过程中，不同动作空间在运动质量和策略查询频率方面有何差异？
• RQ4 更高级别的动作空间在不同步态和机器人形态之间多大程度上提升了策略泛化能力？
• RQ5 动作参数化中的局部反馈在多大程度上加速了策略学习？

主要发现

• 更高级别的动作空间，特别是目标关节角，与低级别控制（如力矩）相比，显著减少了学习时间。
• 采用目标关节角的策略对环境扰动和仿真噪声表现出更强的鲁棒性。
• 使用更高级别动作空间的策略在运动质量方面始终表现更优，表现出更平滑、更稳定的步态。
• 使用目标关节角时，策略查询频率显著降低，表明推理效率更高。
• 肌肉激活度参数化方式表现居中，但稳定性较差，且对超参数更敏感。
• 高级动作空间中固有的局部反馈被识别为实现更快、更可靠策略学习的关键因素。