[论文解读] General Robot Dynamics Learning and Gen2Real

Dengpeng Xing, Jiale Li+2 more|arXiv (Cornell University)|Apr 6, 2021

Robot Manipulation and Learning参考文献 32被引用 4

一句话总结

本文提出基于GPT风格模型在多样化机器人构型上预训练的通用机器人动力学（GRD）学习方法，实现从仿真到真实机器人的迁移（Gen2Real）。该方法在不同机器人类型间展现出优越的泛化能力，在仿真到真实世界的迁移中表现优于基线方法，尤其在迁移到未见机器人时，动力学迁移的均方根误差（RMSE）平均降低25%，且在逆动力学任务中表现强劲。

ABSTRACT

Acquiring dynamics is an essential topic in robot learning, but up-to-date methods, such as dynamics randomization, need to restart to check nominal parameters, generate simulation data, and train networks whenever they face different robots. To improve it, we novelly investigate general robot dynamics, its inverse models, and Gen2Real, which means transferring to reality. Our motivations are to build a model that learns the intrinsic dynamics of various robots and lower the threshold of dynamics learning by enabling an amateur to obtain robot models without being trapped in details. This paper achieves the "generality" by randomizing dynamics parameters, topology configurations, and model dimensions, which in sequence cover the property, the connection, and the number of robot links. A structure modified from GPT is applied to access the pre-training model of general dynamics. We also study various inverse models of dynamics to facilitate different applications. We step further to investigate a new concept, "Gen2Real", to transfer simulated, general models to physical, specific robots. Simulation and experiment results demonstrate the validity of the proposed models and method.\footnote{ These authors contribute equally.

研究动机与目标

• 通过构建覆盖多样化机器人属性、拓扑结构和维度的通用模型，降低机器人动力学学习的门槛。
• 探究在广泛分布的机器人动力学数据上预训练单一模型以提升泛化能力的可行性。
• 开发一种新型迁移范式Gen2Real，直接将通用仿真模型迁移到物理机器人上，无需从头开始微调。
• 在仿真和真实世界实验中，评估GRD与Gen2Real在动力学及逆动力学迁移中的性能表现。
• 证明通用模型在仿真到真实世界迁移中可实现与任务特定模型相当或更优的性能。

提出的方法

• 通过随机化动力学参数、拓扑配置和模型尺寸，生成覆盖多种串联机器人实例的多样化数据集。
• 将类似GPT的Transformer架构改进，用于从连续轨迹序列中学习通用机器人动力学，将机器人状态视为类似token的输入。
• 在随机化数据集上训练统一的通用动力学模型（GRD），以捕捉不同机器人类型间的内在动力学特性。
• 设计三种逆动力学模型：通用逆动力学、左向逆动力学和右向逆动力学，以适配特定应用场景与误差校正。
• 实现Gen2Real：一种两阶段迁移流程，包括在特定机器人上基于仿真进行微调（Gen2Spe），随后使用极少真实数据进行真实世界适应（Spe2Real）。
• 采用单一大规模网络，仅在真实世界迁移阶段调整最后一层，以保持效率与泛化能力。

实验结果

研究问题

• RQ1 通过随机化动力学参数、拓扑结构和模型尺寸，单一预训练模型是否能学习到广泛类型机器人内在的动力学特性？
• RQ2 在仿真到真实世界设置中，通用动力学模型相较于任务特定模型，在迁移到未见物理机器人时的性能如何？
• RQ3 所提出的Gen2Real框架是否能减少仿真到真实世界迁移中迭代式数据收集与重训练的需求？
• RQ4 在真实世界迁移中，通用动力学模型与逆动力学模型的性能差异是什么？
• RQ5 当从不同构型的机器人（如2-连杆）迁移到复杂机器人（如UR5e）时，通用模型是否仍能保持强性能？

主要发现

• Gen2Real在UR5e机器人上的动力学迁移中实现了0.018 ± 0.004的均方根误差（RMSE）平均值，优于LSTM和线性基线方法。
• 当将2-连杆机器人模型迁移到UR5e时，Gen2Real的RMSE平均值降低25%，标准差降低33%，优于次优方法。
• 在逆动力学迁移中，LSTM表现最佳（均方根误差0.72 N·m），但Gen2Real实现了具有竞争力的0.83 N·m，标准差为0.21 N·m。
• Gen2Real在将基于其他机器人集（如2-连杆）训练的通用模型迁移到复杂机器人（如UR5e）时表现更优，优于LSTM和线性基线方法。
• 动力学与逆动力学联合迁移的实验表明，Gen2Real在‘先动力学后逆动力学’的序列中表现优于其他方法，误差显著降低。
• 通用模型展现出强大的泛化能力，在无需微调的情况下，对多样化机器人构型均保持高性能，验证了GRD与Gen2Real概念的有效性。