[论文解读] Robotic Arm Control and Task Training through Deep Reinforcement Learning

A Franceschetti, Elisa Tosello+2 more|arXiv (Cornell University)|May 6, 2020

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文提出对深度强化学习算法——特别是TRPO和DQN-NAF——在模拟环境和真实世界任务（如抓取和拾取放置）中用于机械臂控制的对比评估。结果表明，TRPO在稳定性和性能方面表现更优，实现了从模拟到真实硬件的高效策略迁移，仅需极少微调。

ABSTRACT

This paper proposes a detailed and extensive comparison of the Trust Region Policy Optimization and DeepQ-Network with Normalized Advantage Functions with respect to other state of the art algorithms, namely Deep Deterministic Policy Gradient and Vanilla Policy Gradient. Comparisons demonstrate that the former have better performances then the latter when asking robotic arms to accomplish manipulation tasks such as reaching a random target pose and pick &placing an object. Both simulated and real-world experiments are provided. Simulation lets us show the procedures that we adopted to precisely estimate the algorithms hyper-parameters and to correctly design good policies. Real-world experiments let show that our polices, if correctly trained on simulation, can be transferred and executed in a real environment with almost no changes.

研究动机与目标

• 评估并比较TRPO、DQN-NAF、DDPG和VPG在控制10自由度机械臂执行操作任务时的性能。
• 探究在模拟环境中训练的策略向真实世界机器人硬件迁移的可行性与鲁棒性。
• 识别适用于高维机器人系统连续控制的有效超参数调优方法与网络架构。
• 展示从零开始学习任务，无需演示或特定任务领域知识。
• 评估算法在机器人动力学与几何参数变化（如连杆长度和质量）下的鲁棒性。

提出的方法

• 使用物理引擎在模拟环境中训练10自由度协作式机械臂的策略，采用TRPO、DQN-NAF、DDPG和VPG算法。
• 基于马尔可夫决策过程（MDP）框架，通过状态空间、动作空间和稀疏二元奖励建模控制问题。
• 应用信任区域策略优化（TRPO），通过KL散度约束保持策略更新的有界性，实现策略梯度更新。
• 实现结合归一化优势函数的深度Q网络（DQN-NAF），利用确定性策略梯度在连续动作空间中稳定Q值估计。
• 通过TCP套接字与ROSBridge实现实时通信，连接模拟环境与真实机械臂系统。
• 集成AprilTags技术，利用Microsoft Kinect One实现物体位姿的实时估计，提升真实世界中的状态观测精度。

实验结果

研究问题

• RQ1 TRPO与DQN-NAF在学习稳定性、收敛速度和操作任务最终性能方面，相较于DDPG和VPG表现如何？
• RQ2 在模拟环境中训练的策略是否能通过极少微调成功迁移到真实世界机器人硬件？
• RQ3 在连续控制任务中，哪些超参数调优方法能为不同深度强化学习算法带来最优性能？
• RQ4 算法特性（如奖励缩放敏感性与参数化不变性）如何影响在动力学模型变化下的策略鲁棒性？
• RQ5 网络架构（深度/宽度）在学习性能中起什么作用？是否存在有效策略学习的最小网络尺寸要求？

主要发现

• TRPO在4980轮训练后，拾取放置任务的最终平均回报达到324.97 ± 43.35，显著优于DDPG（257.02 ± 12.59）和VPG（187.11 ± 70.63）。
• TRPO展现出稳定的学习过程，回报方差较低（324 ± 43），而VPG与DDPG表现出高回报方差，频繁因物体滑落和接近速度过高导致抓取失败。
• DQN-NAF在拾取放置任务中获得173.08 ± 9.38的最终平均回报，显示其在抓取任务中表现良好，但抓取稳定性欠佳。
• 使用TRPO策略在真实世界中完成拾取放置任务的成功率达到100%，证实了有效的模拟到真实世界策略迁移。
• 随机目标抓取任务也实现了100%成功率，且机器人能够实时跟踪移动目标。
• TRPO策略学会将圆柱体倾斜朝向夹爪，从而减少抓取所需力度并降低滑脱风险，这是其性能优越的关键因素之一。