[论文解读] Hardware Conditioned Policies for Multi-Robot Transfer Learning

Tao Chen, Adithyavairavan Murali+1 more|arXiv (Cornell University)|Nov 24, 2018

Adversarial Robustness in Machine Learning被引用 33

一句话总结

本文提出硬件条件策略（HCP），一种通过学习或显式向量表示的机器人硬件来训练单一通用策略的方法，实现零样本迁移至新型机器人，并实现样本高效的微调。关键贡献在于，通过反向传播隐式学习硬件嵌入，其性能可与使用真实运动学和动力学信息的模型相媲美，从而在无需针对特定硬件重新训练的情况下实现稳健的多机器人迁移。

ABSTRACT

Deep reinforcement learning could be used to learn dexterous robotic policies but it is challenging to transfer them to new robots with vastly different hardware properties. It is also prohibitively expensive to learn a new policy from scratch for each robot hardware due to the high sample complexity of modern state-of-the-art algorithms. We propose a novel approach called extit{Hardware Conditioned Policies} where we train a universal policy conditioned on a vector representation of robot hardware. We considered robots in simulation with varied dynamics, kinematic structure, kinematic lengths and degrees-of-freedom. First, we use the kinematic structure directly as the hardware encoding and show great zero-shot transfer to completely novel robots not seen during training. For robots with lower zero-shot success rate, we also demonstrate that fine-tuning the policy network is significantly more sample-efficient than training a model from scratch. In tasks where knowing the agent dynamics is important for success, we learn an embedding for robot hardware and show that policies conditioned on the encoding of hardware tend to generalize and transfer well. The code and videos are available on the project webpage: https://sites.google.com/view/robot-transfer-hcp.

研究动机与目标

• 解决机器人领域深度强化学习策略存在的高样本复杂度和硬件依赖性问题。
• 在无需从零开始重新训练的情况下，实现具有不同运动学结构、自由度和动力学特性的机器人之间的策略迁移。
• 开发一种通过紧凑硬件表示进行条件控制的通用策略，以实现跨机器人泛化。
• 证明隐式硬件嵌入可捕捉关键的动力学与运动学信息，而无需显式测量。
• 表明使用新机器人硬件嵌入对策略进行微调，相比从零开始训练，可显著降低样本复杂度。

提出的方法

• 策略被表述为当前状态与硬件向量表示 $v_h$ 的函数，从而实现硬件条件下的决策。
• 对于显式编码（HCP-E），直接使用机器人的运动学结构作为 $v_h$，实现对新机器人的零样本迁移。
• 对于隐式编码（HCP-I），通过经验学习神经网络生成机器人硬件的低维嵌入，隐式捕捉动力学与运动学特性。
• 硬件嵌入通过反向传播在策略训练过程中端到端联合优化，且在不同机器人类型间共享编码器。
• 微调通过使用有限的交互数据，同时更新策略网络与新机器人的硬件嵌入来完成。
• 该方法在模拟环境中通过多种机器人进行评估，其躯干质量、连杆长度和自由度各不相同，采用PPO作为底层强化学习算法。

实验结果

研究问题

• RQ1 能否训练出一个单一的通用策略，使其在具有显著差异的运动学与动力学特性机器人之间实现泛化？
• RQ2 对策略施加学习到的硬件嵌入条件，是否能实现对训练期间未见过的机器人进行零样本迁移？
• RQ3 在迁移性能与样本效率方面，隐式硬件嵌入与显式运动学编码相比表现如何？
• RQ4 与从零开始训练相比，使用新机器人硬件嵌入对策略进行微调，是否能显著降低样本复杂度？
• RQ5 学习到的硬件嵌入空间是否平滑且语义有意义，例如使相似机器人聚集在一起？

主要发现

• HCP-I（隐式学习硬件嵌入）的性能与HCP-E+Dyn（使用真实运动学与动力学信息）相当，表明模型能隐式捕捉关键硬件属性。
• HCP-I显著优于基线PPO，表明硬件条件控制能显著提升学习效率与降低样本复杂度。
• 使用HCP-E的零样本迁移在具有不同运动学结构的新机器人上实现了高成功率，表明无需微调即可实现强大泛化能力。
• 使用预训练权重对HCP-I模型进行微调，相比从零开始训练，能在新机器人上实现更快的学习速度，证实了样本效率的提升。
• 学习到的硬件嵌入形成平滑连续的空间——可视化结果表明，具有相似躯干质量的机器人聚集在一起，表明嵌入具有语义意义且结构合理。