[论文解读] Affordance-Driven Next-Best-View Planning for Robotic Grasping

Xuechao Zhang, Dong Wang+8 more|arXiv (Cornell University)|Sep 18, 2023

Robot Manipulation and Learning被引用 6

一句话总结

本文提出 ACE-NBV，一种基于功能的下一最佳视角规划框架，该框架根据预想的抓取质量而非几何重建来选择观测视角。通过利用隐式神经表示进行新视角合成，并结合视角感知的抓取功能模块，该方法在仿真中实现了 83% 的抓取成功率，在更具挑战性的真实场景中实现了 5/5 的成功率，且所需视角数量少于基线方法。

ABSTRACT

Grasping occluded objects in cluttered environments is an essential component in complex robotic manipulation tasks. In this paper, we introduce an AffordanCE-driven Next-Best-View planning policy (ACE-NBV) that tries to find a feasible grasp for target object via continuously observing scenes from new viewpoints. This policy is motivated by the observation that the grasp affordances of an occluded object can be better-measured under the view when the view-direction are the same as the grasp view. Specifically, our method leverages the paradigm of novel view imagery to predict the grasps affordances under previously unobserved view, and select next observation view based on the highest imagined grasp quality of the target object. The experimental results in simulation and on a real robot demonstrate the effectiveness of the proposed affordance-driven next-best-view planning policy. Project page: https://sszxc.net/ace-nbv/.

研究动机与目标

• 解决在单视角感知因严重遮挡而失效的杂乱环境中抓取被遮挡物体的挑战。
• 克服现有下一最佳视角方法优先考虑几何重建而非提升抓取功能的局限性。
• 为机器人系统赋予类人空间推理能力，以选择能最大化抓取质量预测的观测视角。
• 开发一个统一框架，将新视角合成与抓取功能预测相结合，用于机器人操作中的主动感知。

提出的方法

• 引入一种视角感知的抓取功能预测模块，利用物体几何形状和物体间遮挡关系，以提升对被遮挡目标的抓取合成效果。
• 采用类似 NeRF 的训练范式，使隐式神经表示能够从未观测到的视角生成新场景视角。
• 利用预想的新视角，通过视角感知模块在多个候选抓取方向上预测抓取功能。
• 设计一种下一最佳视角规划策略，根据预测的抓取质量增益最高来选择下一个观测视角。
• 端到端训练模型，以优化抓取成功率，同时最小化所需观测次数。
• 将该框架集成到机器人操作流程中，并在 7-DoF Panda 机械臂上实现真实世界部署。

实验结果

研究问题

• RQ1 基于预想抓取功能质量引导的视角选择，是否能在被遮挡抓取任务中优于基于几何重建的传统方法？
• RQ2 利用隐式神经表示合成新视角，在提升被遮挡物体抓取预测方面是否有效？
• RQ3 与标准的几何或外观基线相比，视角感知的抓取功能模块是否能提升抓取质量预测？
• RQ4 所提出的 ACE-NBV 框架是否能在真实世界杂乱环境中以最少的观测步骤实现高抓取成功率？

主要发现

• ACE-NBV 在仿真中实现了 83% 的抓取成功率（SR），优于次佳基线方法（Breyer 的 [4] 为 81%）和 SOTA 方法 GIGA（79%）。
• 在真实世界实验中，ACE-NBV 在最具挑战性的场景（场景 1）中实现了 5/5 的成功率，优于 Breyer 的 [4]（3/5）和 GIGA（3/5），且所需视角更少。
• 该方法将仿真中的平均视角数减少至 2.97，低于 Breyer 的 [4] 的 4.31，表明其观测规划更具效率。
• 消融实验表明，若移除新视角合成分支，SR 降至 80%；若移除几何和射线特征，则降至 74%，证实了这些组件的重要性。
• 在真实世界测试中，ACE-NBV 每项任务平均使用 2.6–3.4 个视角，显著少于固定轨迹基线方法（4.0 个视角），且与 SOTA 方法相当。
• 该框架在多种物体形状和遮挡程度下表现出鲁棒性，即使在物体被严重遮挡时也能保持一致的性能。