[论文解读] Learning Diverse and Physically Feasible Dexterous Grasps with Generative Model and Bilevel Optimization

Albert Wu, Michelle Guo+1 more|arXiv (Cornell University)|Jul 1, 2022

Robot Manipulation and Learning被引用 10

一句话总结

该论文提出了一种混合框架，结合了条件变分自编码器（CVAE）以生成多样化的抓取候选，以及双层优化（BO）以优化物理可行性，通过强制执行碰撞、可达性、 wrench 闭合和摩擦约束，在 20 种家用物品上实现了 86.7% 的真实世界灵巧抓取成功率。

ABSTRACT

To fully utilize the versatility of a multi-fingered dexterous robotic hand for executing diverse object grasps, one must consider the rich physical constraints introduced by hand-object interaction and object geometry. We propose an integrative approach of combining a generative model and a bilevel optimization (BO) to plan diverse grasp configurations on novel objects. First, a conditional variational autoencoder trained on merely six YCB objects predicts the finger placement directly from the object point cloud. The prediction is then used to seed a nonconvex BO that solves for a grasp configuration under collision, reachability, wrench closure, and friction constraints. Our method achieved an 86.7% success over 120 real world grasping trials on 20 household objects, including unseen and challenging geometries. Through quantitative empirical evaluations, we confirm that grasp configurations produced by our pipeline are indeed guaranteed to satisfy kinematic and dynamic constraints. A video summary of our results is available at youtu.be/9DTrImbN99I.

研究动机与目标

• 为解决在具有复杂几何形状的新物体上生成多样化、物理可行的灵巧抓取的挑战。
• 克服纯学习方法无法严格强制执行物理约束的局限性。
• 将深度生成建模与双层优化相结合，实现满足约束的抓取规划。
• 在真实硬件上对包含未见过的复杂形状的多样化家用物体进行方法验证。
• 证明物理可行性——尤其是 wrench 闭合——是成功抓取的必要条件。

提出的方法

• 在仅六个 YCB 物体上训练条件变分自编码器（CVAE），直接从物体点云预测手指接触点。
• 将 CVAE 的预测结果用作双层优化（BO）问题的初始种子，以强制执行运动学和动力学约束。
• 上层 BO 优化抓取构型，以满足可达性、碰撞、wrench 闭合和摩擦锥约束。
• 下层优化确保抓取构型在运动学上可行并满足接触约束。
• 该流程使用拒绝采样过滤掉不可行的抓取，从而提高整体成功率。
• 通过在 20 种新家用物体上的硬件实验评估该方法，包括具有挑战性的几何形状。

实验结果

研究问题

• RQ1 学习的抓取生成模型能否为未见过的物体生成多样化且物理上合理的灵巧抓取构型？
• RQ2 双层优化能否有效改进学习得到的抓取候选，以满足 wrench 闭合和摩擦等复杂物理约束？
• RQ3 物理可行性——尤其是 wrench 闭合——是否与真实世界抓取成功率相关？
• RQ4 与仅学习或仅优化的基线方法相比，学习与优化的结合在约束满足度和硬件性能方面表现如何？
• RQ5 在少量物体上训练的小规模 CVAE 能否泛化到多样化且未见过的家用物体？

主要发现

• 所提方法在 20 种新家用物体上共 120 次真实世界抓取试验中实现了 86.7% 的成功率，包括复杂且未见过的几何形状。
• 双层优化将最大几何距离违规从 CVAE 仅方法的 2.032 cm 降低至 0.08 cm，证实了运动学可行性的提升。
• 该方法实现了 0.00% 的中位力比和 0.01% 的中位力矩比，表明 wrench 闭合的强制执行近乎完美。
• 所有被双层优化拒绝的抓取在硬件实验中均失败，证实物理可行性是成功的重要预测指标。
• CVAE 仅方法生成的抓取在视觉上看似合理，但无法满足物理约束，中位 D(p,O) = 0.33，违规最高达 2.032 cm。
• 消融实验表明，CVAE + 运动学 BO 在约束满足度上优于 CVAE 仅方法，但仅完整 BO 流程能确保动力学可行性和硬件成功。