[论文解读] kPAM-SC: Generalizable Manipulation Planning using KeyPoint Affordance and Shape Completion

Wei Gao, Russ Tedrake|arXiv (Cornell University)|Sep 16, 2019

Robot Manipulation and Learning被引用 15

一句话总结

本文提出 kPAM-SC，一种可泛化的操作规划框架，通过结合语义3D关键点与从学习到的形状补全获得的密集几何信息，实现对类别内新实例的鲁棒且符合物理规律的操作。通过将形状补全与关键点检测及运动规划相结合，该方法在无需人工干预的情况下，泛化了现有规划器，以应对类别内较大的形状差异，实验证明其在真实硬件环境中成功执行了针对未见过的马克杯、鞋子和马克杯架实例的任务。

ABSTRACT

Manipulation planning is the task of computing robot trajectories that move a set of objects to their target configuration while satisfying physically feasibility. In contrast to existing works that assume known object templates, we are interested in manipulation planning for a category of objects with potentially unknown instances and large intra-category shape variation. To achieve it, we need an object representation with which the manipulation planner can reason about both the physical feasibility and desired object configuration, while being generalizable to novel instances. The widely-used pose representation is not suitable, as representing an object with a parameterized transformation from a fixed template cannot capture large intra-category shape variation. Hence, we propose a new hybrid object representation consisting of semantic keypoint and dense geometry (a point cloud or mesh) as the interface between the perception module and motion planner. Leveraging advances in learning-based keypoint detection and shape completion, both dense geometry and keypoints can be perceived from raw sensor input. Using the proposed hybrid object representation, we formulate the manipulation task as a motion planning problem which encodes both the object target configuration and physical feasibility for a category of objects. In this way, many existing manipulation planners can be generalized to categories of objects, and the resulting perception-to-action manipulation pipeline is robust to large intra-category shape variation. Extensive hardware experiments demonstrate our pipeline can produce robot trajectories that accomplish tasks with never-before-seen objects.

研究动机与目标

• 为具有较大类别内形状和拓扑变化的物体类别实现机器人操作规划，而非依赖固定模板或6-DOF姿态估计。
• 开发一个从感知到动作的端到端管道，可泛化至未见过的物体实例，且无需手动重新配置或姿态特定调优。
• 将形状补全获得的密集几何信息与语义关键点结合，以支持对物理可行性（如碰撞、稳定性）和目标构型的运动规划推理。
• 克服基于姿态的规划在形状变化下失效的局限性，以及仅依赖关键点的规划缺乏几何细节以支持物理推理的不足。
• 证明现有操作规划器可通过所提出的混合表示泛化至类别级任务。

提出的方法

• 该方法使用一种混合物体表示，结合语义3D关键点（用于目标构型）和密集几何信息（用于物理可行性），作为感知与规划之间的接口。
• 利用基于学习的关键点检测和形状补全网络，直接从原始RGB-D或RGB图像推断该混合表示。
• 通过形状补全对部分观测进行完整物体几何重建，从而在规划过程中实现精确的碰撞和稳定性检查。
• 将运动规划问题基于该混合表示进行公式化，使规划器能够同时编码期望的物体构型（通过关键点）和物理约束（通过密集几何）。
• 该管道将感知（关键点检测 + 形状补全）与现有运动规划器（如基于优化或采样）集成，实现对未见实例的泛化。
• 系统为端到端可训练且可在真实机器人上执行，并配备执行监控以检测失败。

实验结果

研究问题

• RQ1 结合语义关键点与密集几何信息的混合物体表示，是否能在存在显著形状和拓扑变化的情况下，泛化至类别内新实例的操作规划？
• RQ2 从原始传感器数据中获得的形状补全与关键点检测，能否有效支持类别级操作任务中的物理可行运动规划？
• RQ3 在无需任务特定调优的情况下，能否有效利用所提出的混合表示将现有运动规划器泛化至类别级任务？
• RQ4 感知到动作管道的失败模式是什么？它们与规划器局限性或感知误差有何关联？
• RQ5 与基于姿态或仅依赖关键点的方法相比，形状补全的集成在多大程度上提升了鲁棒性？

主要发现

• kPAM-SC 管道在真实硬件中成功规划并执行了针对未见马克杯、鞋子和马克杯架实例的物理可行轨迹，证明了其在训练数据之外的泛化能力。
• 形状补全显著提升了在部分观测下的几何重建精度，从而实现了可靠的碰撞和抓取稳定性检查。
• 该方法减少了对先前工作中所需的人工指定中间构型的依赖（如 kPAM），从而实现了更高效和自动化的规划。
• 在硬件实验中失败率较低，大多数失败归因于运动规划器陷入局部极小值或抓取不稳定性，而非感知错误。
• 将形状补全与关键点检测结合，使现有规划器能够泛化至类别级任务，同时在未见实例上保持高成功率。
• 该系统在三项不同操作任务中实现了可靠的任务完成：将鞋子放置在置物架上、将马克杯放入盒子中、将马克杯挂在架子上，且人工干预极少。