Skip to main content
QUICK REVIEW

[论文解读] Grasp to Act: Dexterous Grasping for Tool Use in Dynamic Settings

Harsh Gupta, Mohammad Amin Mirzaee|arXiv (Cornell University)|Feb 24, 2026
Robot Manipulation and LearningEngineering被引用 0
一句话总结

Grasp-to-Act (G2A) 结合基于物理的初始抓取优化与在线强化学习为动态工具使用任务维持稳定、可用抓取,从而实现跨五个任务的鲁棒仿真到现实转移。

ABSTRACT

Achieving robust grasping with dexterous hands remains challenging, especially when manipulation involves dynamic forces such as impacts, torques, and continuous resistance--situations common in real-world tool use. Existing methods largely optimize grasps for static geometric stability and often fail once external forces arise during manipulation. We present Grasp-to-Act, a hybrid system that combines physics-based grasp optimization with reinforcement-learning-based grasp adaptation to maintain stable grasps throughout functional manipulation tasks. Our method synthesizes robust grasp configurations informed by human demonstrations and employs an adaptive controller that residually issues joint corrections to prevent in-hand slip while tracking the object trajectory. Grasp-to-Act enables robust zero-shot sim-to-real transfer across five dynamic tool-use tasks--hammering, sawing, cutting, stirring, and scooping--consistently outperforming baselines. Across simulation and real-world hardware trials with a 16-DoF dexterous hand, our method reduces translational and rotational in-hand slip and achieves the highest task completion rates, demonstrating stable functional grasps under dynamic, contact-rich conditions.

研究动机与目标

  • 在动态冲击、扭矩和持续阻力等力作用下,推动对工具使用的鲁棒抓取。
  • 开发一个混合框架(G2A),将基于物理的抓取评估与基于强化学习的在线适应相结合。
  • 利用人类示范来偏向功能性、包覆性抓取,适用于灵巧手的抓取。
  • 在仿真和真实硬件上对五个工具使用任务(锤击、锯削、切割、搅拌、铲取)进行验证。
  • 与静态优化和 RL 基线相比,展示更高的稳定性、减少滑动并提高任务完成度。

提出的方法

  • 两阶段的抓取到行动管线:在仿真中围绕人类示范的腕部姿态生成候选抓取,并在扭矩-空间扰动下评估以选择稳定的初始抓取。
  • 在 12 维度的扭矩-空间稳定性测试(±x、±y、±z 的力和力矩)对候选抓取进行排序以评估稳定性。
  • 通过强化学习进行在线适应,给出残留关节力矩以在跟随人类示范轨迹的同时维持抓取稳定性。
  • 仿真环境采用简化力模型(阻力力和作用力),并对质量、摩擦和力系数进行领域随机化以提高现实世界鲁棒性。
  • 策略 πθ 基于 PPO,输入状态 s(t)(机器人本体感知、目标位姿、归一化时间),输出残留关节调整 Δq_t;奖励结合位置/方向对齐以及对大偏差的惩罚。
  • 真实世界硬件采用 16-DoF LEAP 手与 UR5 臂,并通过视觉/位姿估计将抓取与示范轨迹对齐。

实验结果

研究问题

  • RQ1一个将基于物理稳定性优化与在线 RL 适应相结合的混合抓取框架,是否能够在动态、接触丰富的操作中维持稳定、可用的抓取?
  • RQ2利用人类示范来

主要发现

  • G2A 实现在锤击、锯削、切割、搅拌和铲取等任务中的鲁棒零-shot 仿真到现实转移。
  • 与基线相比,G2A 在手内滑移(平移 Et)和旋转滑移(Eθ)方面持续降低,达到较高的任务完成或成功率。
  • 从解析稳定抓取出发并应用基于在线 RL 的残留修正,导致收敛更快且相较仅 RL 或静态优化具有更好稳定性。
  • 在具有挑战性的动态任务中(如具有重复冲击的锤击),在线适应对抓取稳定性和任务性能有显著改善。
  • 在多种工具几何形状上,使用 G2A 的泛化性较强,保持安全抓取和高任务成功率,对未见几何体仍表现良好。
  • 真实世界实验表明在五项任务中,G2A 产生的平移和方向误差最低,任务完成率最高。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。