[论文解读] Accelerating Integrated Task and Motion Planning with Neural Feasibility Checking

Lei Xu, Tianyu Ren+2 more|arXiv (Cornell University)|Mar 20, 2022

Human Pose and Action Recognition被引用 8

一句话总结

该论文提出了一种基于CNN的神经可行性分类器（NFC），通过使用以物体为中心的深度图像来预测任务与运动规划（TAMP）中的运动可行性，从而在运动规划前过滤不可行动作，显著减少规划时间。NFC在机器人整个工作空间中具有泛化能力，在未见过的场景中实现了63.5%的运动规划时间减少和8%的误报率。

ABSTRACT

As robots play an increasingly important role in the industrial, the expectations about their applications for everyday living tasks are getting higher. Robots need to perform long-horizon tasks that consist of several sub-tasks that need to be accomplished. Task and Motion Planning (TAMP) provides a hierarchical framework to handle the sequential nature of manipulation tasks by interleaving a symbolic task planner that generates a possible action sequence, with a motion planner that checks the kinematic feasibility in the geometric world, generating robot trajectories if several constraints are satisfied, e.g., a collision-free trajectory from one state to another. Hence, the reasoning about the task plan's geometric grounding is taken over by the motion planner. However, motion planning is computationally intense and is usability as feasibility checker casts TAMP methods inapplicable to real-world scenarios. In this paper, we introduce neural feasibility classifier (NFC), a simple yet effective visual heuristic for classifying the feasibility of proposed actions in TAMP. Namely, NFC will identify infeasible actions of the task planner without the need for costly motion planning, hence reducing planning time in multi-step manipulation tasks. NFC encodes the image of the robot's workspace into a feature map thanks to convolutional neural network (CNN). We train NFC using simulated data from TAMP problems and label the instances based on IK feasibility checking. Our empirical results in different simulated manipulation tasks show that our NFC generalizes to the entire robot workspace and has high prediction accuracy even in scenes with multiple obstructions. When combined with state-of-the-art integrated TAMP, our NFC enhances its performance while reducing its planning time.

研究动机与目标

• 解决集成任务与运动规划（TAMP）中运动规划的高计算成本问题，该问题限制了其在真实场景中的应用。
• 通过早期识别不可行的动作序列来缩小TAMP中的搜索空间，避免对不可行计划进行昂贵的运动规划。
• 开发一种可泛化的、高效的可行性预测器，可在无需为每种场景重新训练的情况下适用于多种机器人工作空间。
• 通过集成快速、学习型的可行性检查器，提升最先进TAMP方法（如IDTMP）的效率与可扩展性。

提出的方法

• 训练一个卷积神经网络（CNN）使用目标物体周围0.5m×0.5m的局部、以物体为中心的深度图像来分类动作可行性。
• 使用通过逆运动学（IK）可行性检查生成标签的仿真TAMP数据来训练NFC。
• 将NFC作为运动规划前的预检：仅将预测可行性>0.5的计划传递给运动规划器。
• 使用可行性阈值β > 0.5来提前过滤不可行的动作序列，从而减少运动规划调用次数。
• 通过在包含多种障碍物的多样化仿真场景中进行训练，使NFC能够泛化至整个3D笛卡尔工作空间。
• 通过聚焦于局部、小分辨率图像而非全局场景视图，优化推理成本和内存使用。

实验结果

研究问题

• RQ1 所提出的基于学习的视觉分类器是否能在多样化机器人工作空间中实现高精度和良好泛化能力，以准确预测TAMP中的运动可行性？
• RQ2 与先前工作（如深度视觉启发式方法，DVH）相比，所提出的NFC在训练效率、推理速度和内存使用方面表现如何？
• RQ3 NFC在长时序操作任务中能将运动规划时间减少多少，同时不牺牲解的完整性？
• RQ4 NFC在未见过的场景中（包括目标物体被障碍物遮挡的场景）的泛化能力如何？
• RQ5 NFC是否可在无需重新训练的情况下部署于多个机器人工作空间，从而实现广泛适用性？

主要发现

• 在100个随机采样的场景中，NFC在Unpack问题上平均将运动规划时间减少了63.5%。
• 使用NFC时，运动规划调用次数从无NFC时的平均26次降至每道问题仅2次。
• NFC的误报率为8%，即仅8%的场景因预测错误而被错误地过滤掉。
• NFC在所有效率指标上均优于DVH：每10,000个数据样本的训练时间仅为3.0秒（DVH为22.5秒），且在320×240分辨率下的内存占用为0.19GB（DVH为1.43GB）。
• 该模型在包括多障碍物和不同桌面位置的场景中，均能有效实现整个3D工作空间的泛化。
• IDTMP结合NFC在保持高解质量的同时显著提升了规划速度，证明了其在真实场景部署中的实际可行性。