[论文解读] Deep Imitation Learning for Bimanual Robotic Manipulation

Fan Xie, Alexander Chowdhury+4 more|arXiv (Cornell University)|Oct 11, 2020

Robot Manipulation and Learning参考文献 39被引用 14

一句话总结

本文提出分层深度关系模仿学习（HDR-IL），一种用于双臂机器人操作的深度模仿学习框架，通过使用循环图神经网络建模机器人-机器人和机器人-物体之间的交互，将复杂任务分解为可重用的运动基元。通过结合高层规划器进行基元排序与低层动力学模型，HDR-IL在具有挑战性的插销入孔任务上实现了29%的成功率，显著优于GRU-GRU基线模型的1%，证明了在连续状态-动作空间中通过关系建模与分层结构实现更优泛化能力。

ABSTRACT

We present a deep imitation learning framework for robotic bimanual manipulation in a continuous state-action space. A core challenge is to generalize the manipulation skills to objects in different locations. We hypothesize that modeling the relational information in the environment can significantly improve generalization. To achieve this, we propose to (i) decompose the multi-modal dynamics into elemental movement primitives, (ii) parameterize each primitive using a recurrent graph neural network to capture interactions, and (iii) integrate a high-level planner that composes primitives sequentially and a low-level controller to combine primitive dynamics and inverse kinematics control. Our model is a deep, hierarchical, modular architecture. Compared to baselines, our model generalizes better and achieves higher success rates on several simulated bimanual robotic manipulation tasks. We open source the code for simulation, data, and models at: https://github.com/Rose-STL-Lab/HDR-IL.

研究动机与目标

• 解决在不同物体和机器人初始配置下泛化双臂操作技能的挑战。
• 在高维连续状态-动作空间的复杂多对象交互任务中提升策略泛化能力。
• 显式建模机器人与物体之间的关系动态，而非依赖静态或预定义的基元。
• 开发一种分层模块化深度模仿学习框架，将高层规划与低层动力学控制分离。

提出的方法

• 该框架将专家示范分解为时间上延展的运动基元，实现任务组件的模块化学习。
• 高层规划器使用循环图神经网络（GNN）基于环境关系特征预测基元序列。
• 低层基元动力学模型由GNN参数化，捕捉机器人手臂与物体之间的交互，预测每个基元的状态轨迹。
• 在GNN中引入残差连接以稳定训练并改善长序列中的梯度流动。
• 系统将基元动力学预测与逆运动学控制相结合，生成可用于机器人执行的有效关节轨迹。
• 整个架构通过模拟环境中的专家示范进行端到端的模仿学习训练。

实验结果

研究问题

• RQ1 具有关系建模能力的分层模仿学习框架是否能提升双臂机器人操作任务中的泛化性能？
• RQ2 通过图神经网络建模物体间及机器人-环境交互，如何影响策略性能与鲁棒性？
• RQ3 将高层规划与低层动力学控制分离，在复杂操作任务中在多大程度上提升样本效率与任务成功率？
• RQ4 残差连接与循环GNN在学习长时序、多阶段操作行为方面起到了何种作用？

主要发现

• HDR-IL在插销入孔任务中实现了29%的成功率，较GRU-GRU基线模型高出28个百分点（基线仅成功1%）。
• ResInt模型实现了15%的成功率，表明残差连接相比标准RNN能提升性能，但仍逊于HDR-IL。
• HDR-IL在插销入孔任务的第二阶段表现出更优的泛化能力，60个时间步时x轴坐标预测更准确，优于ResInt与GRU-GRU。
• 该模型的平均欧氏距离误差（0.90 ± 1.01）和角度距离误差（0.013 ± 0.010）均低于基线，表明轨迹预测更精确。
• 由于示范中x轴方向方差较高，该方向的泛化更具挑战性，但HDR-IL仍保持优于其他方法的性能。
• 该框架在复杂、长时序的双臂任务中展现出更高的鲁棒性与准确性，验证了分层与关系建模的有效性。