[论文解读] How Much Do Unstated Problem Constraints Limit Deep Robotic Reinforcement Learning?

W. Cannon Lewis, Mark Moll+1 more|arXiv (Cornell University)|Sep 16, 2019

Reinforcement Learning in Robotics参考文献 27被引用 5

一句话总结

本文研究了标准Reacher基准任务中未明确说明的空间约束如何显著简化学习过程，使其无法代表现实世界中的操作挑战。通过在模拟的UR5机器人上使用DDPG，作者发现将目标采样区域扩展至超出受限框的范围会大幅增加学习难度，揭示了以往结果可能无法推广到更广泛、无约束的机器人任务中。

ABSTRACT

Deep Reinforcement Learning is a promising paradigm for robotic control which has been shown to be capable of learning policies for high-dimensional, continuous control of unmodeled systems. However, Robotic Reinforcement Learning currently lacks clearly defined benchmark tasks, which makes it difficult for researchers to reproduce and compare against prior work. “Reacher” tasks, which are fundamental to robotic manipulation, are commonly used as benchmarks, but the lack of a formal specification elides details that are crucial to replication. In this paper we present a novel empirical analysis which shows that the unstated spatial constraints in commonly used implementations of Reacher tasks make it dramatically easier to learn a successful control policy with Deep Deterministic Policy Gradients (DDPG), a state-of-the-art Deep RL algorithm. Our analysis suggests that less constrained Reacher tasks are significantly more difficult to learn, and hence that existing de facto benchmarks are not representative of the difficulty of general robotic manipulation.

研究动机与目标

• 研究标准Reacher基准任务中隐含的空间约束如何影响深度强化学习策略的可学习性。
• 评估模拟环境中广泛使用的Reacher任务是否真实反映了通用机器人操作的真正难度。
• 评估目标采样区域约束对DDPG在机器人控制中样本效率和渐近性能的影响。
• 提供实证证据，表明当前基准可能误导研究人员对深度强化学习算法在真实世界机器人场景中真实能力的认知。

提出的方法

• 构建了一系列目标约束区域系统变化的Reacher任务，包括近框、远框、仅z高度约束以及无约束配置。
• 在所有实验中固定DDPG算法、超参数和代码库，以隔离任务定义对学习性能的影响。
• 使用自定义的ROSGym框架，实现不同任务变体之间一致且可复现的策略训练与评估。
• 通过训练过程中成功率的变化以及对机器人工作空间进行粗粒度网格划分来可视化策略成功区域，衡量学习性能。
• 进行多次独立训练运行，以评估不同随机种子下学习结果的鲁棒性与变异性。
• 通过在无探索噪声的情况下运行训练好的策略，分析策略行为，可视化机器人工作空间中策略能力的区域。

实验结果

研究问题

• RQ1 不同目标约束区域（如近框、远框、仅z高度）如何影响DDPG在Reacher任务中的样本复杂度和渐近成功率？
• RQ2 与无约束设置相比，标准Reacher基准中未明确说明的空间约束在多大程度上简化了底层学习问题？
• RQ3 机器人的有效工作空间变化如何影响所学策略的泛化能力和鲁棒性？
• RQ4 相同的DDPG算法是否能在约束和无约束的Reacher任务中实现相似性能，还是在工作空间扩大时性能显著下降？
• RQ5 初始策略偏差和随机种子在无约束任务中对最终策略成功区域的形成起到何种作用？

主要发现

• 远框约束区域（与以往Reacher基准中使用的最相似）在1,000次训练迭代内，对3关节和6关节配置均实现了接近100%的成功率。
• 从远框区域中移除z高度约束并未导致性能下降，表明加速学习的主要因素是目标区域与机器人基座之间的空间分离。
• 相比之下，目标采样区域扩展后的无约束Reacher任务导致学习速度显著变慢，且渐近成功率明显降低，DDPG在多次运行中均未能收敛。
• 在无约束3关节任务上进行的两次独立DDPG训练运行产生了成功区域明显不同的策略，表明对初始条件和策略偏差高度敏感。
• 远框条件下观察到的成功率与以往研究中报告的结果相当，表明以往结果可能归因于任务定义中的人为简化。
• 本研究表明，当前基准并未真实反映通用机器人操作的真正难度，因为其嵌入了非物理性的约束，从而大幅降低了学习复杂度。