[论文解读] H-InDex: Visual Reinforcement Learning with Hand-Informed Representations for Dexterous Manipulation

Yanjie Ze, Yuyao Liu+5 more|arXiv (Cornell University)|Oct 2, 2023

Robot Manipulation and Learning被引用 4

一句话总结

H-InDex 提出了一种视觉强化学习框架，利用预训练的3D人体手部姿态表征来提升机器人灵巧操作性能。通过仅微调0.36%的参数，结合自监督关键点检测与EMA批归一化适应，其在12项具有挑战性的操作任务中均达到最先进性能，优于近期的视觉基础模型。

ABSTRACT

Human hands possess remarkable dexterity and have long served as a source of inspiration for robotic manipulation. In this work, we propose a human $ extbf{H}$and$ extbf{-In}$formed visual representation learning framework to solve difficult $ extbf{Dex}$terous manipulation tasks ($ extbf{H-InDex}$) with reinforcement learning. Our framework consists of three stages: (i) pre-training representations with 3D human hand pose estimation, (ii) offline adapting representations with self-supervised keypoint detection, and (iii) reinforcement learning with exponential moving average BatchNorm. The last two stages only modify $0.36\%$ parameters of the pre-trained representation in total, ensuring the knowledge from pre-training is maintained to the full extent. We empirically study 12 challenging dexterous manipulation tasks and find that H-InDex largely surpasses strong baseline methods and the recent visual foundation models for motor control. Code is available at https://yanjieze.com/H-InDex .

研究动机与目标

• 利用源自人体手部灵巧性的视觉表征，提升机器人手部的灵巧操作能力。
• 解决将人体手部知识迁移至视觉强化学习中机器人策略学习的挑战。
• 通过仅更新预训练模型中极小部分参数，最小化灾难性遗忘。
• 证明现成的人体手部姿态估计算法可作为无需完整微调的机器人控制有效视觉先验。

提出的方法

• 使用3D人体手部姿态估计算法（FrankMocap）预训练视觉表征，将人体灵巧性嵌入特征编码器。
• 通过自监督关键点检测微调预训练表征，仅更新0.18%的参数（批归一化层中的仿射变换）。
• 在强化学习中应用指数移动平均（EMA）批归一化，动态调整归一化统计量以实现更好适应。
• 在微调过程中保持卷积主干网络冻结，保留预训练知识的同时实现域偏移泛化。
• 采用标准视觉强化学习流程，将适配后的表征作为输入，保持策略与奖励设计不变，以实现正交评估。
• 采用三阶段流程：(1) 在人体手部姿态上进行预训练，(2) 通过极小微调进行离线适配，(3) 使用EMA批归一化进行端到端强化学习训练。

Figure 1 : Normalized average score for our algorithm H-InDex and the baselines (VC-1 [ 17 ] , MVP [ 31 ] , R3M [ 18 ] , and RRL [ 27 ] ).

实验结果

研究问题

• RQ1 预训练的3D人体手部姿态表征是否能提升机器人灵巧操作任务中的样本效率与性能？
• RQ2 仅在预训练视觉模型中微调极小部分参数（0.18%）是否能在适应机器人领域的同时保留人体灵巧性？
• RQ3 EMA批归一化在使用适配表征的视觉强化学习中如何提升策略训练的稳定性和性能？
• RQ4 在未进行任务特定预训练的情况下，预训练于人体手部理解的模型是否能有效泛化至机器人操作任务？
• RQ5 与近期视觉基础模型VC-1、MVP和R3M相比，H-InDex在性能与鲁棒性方面表现如何？

主要发现

• H-InDex 在12项具有挑战性的灵巧操作任务中均优于强基线模型（包括VC-1、MVP、R3M和RRL），如归一化平均得分对比所示。
• 该方法通过保留99.64%的预训练模型参数，最小化了微调过程中的灾难性遗忘，实现了卓越性能。
• 仅微调0.18%的参数（批归一化仿射权重）的效果优于微调全部参数，证实了参数高效微调的优势。
• 消融研究证实，阶段3中使用EMA批归一化显著提升了训练稳定性和最终性能，证明其必要性。
• 在更换场景背景的重新定位带盖肉罐头任务中，H-InDex 比VC-1展现出更优的泛化能力。
• 可视化结果表明，即使仅进行极小参数更新，适配后的模型仍能有效关注手部与物体的关键点，证实了特征对齐的有效性。

Figure 2 : The overview of H-InDex. H-InDex consists of three stages: 1) representation pre-training, 2) representation offline adaptation, and 3) reinforcement learning.