[论文解读] Iterative Visual Recognition for Learning Based Randomized Bin-Picking

Kensuke Harada, Weiwei Wan+4 more|arXiv (Cornell University)|Aug 1, 2016

Robot Manipulation and Learning参考文献 3被引用 4

一句话总结

本文提出一种基于学习的随机料箱拣选迭代视觉识别系统，通过重用先前捕获的点云数据降低计算成本。通过融合先前试验中的遮挡区域，并仅对新可见或发生变化的物体区域重新估计位姿，该方法在保持精度的同时加速了位姿检测，已在配备3D视觉传感的双臂机械臂上得到验证。

ABSTRACT

This paper proposes a iterative visual recognition system for learning based randomized bin-picking. Since the configuration on randomly stacked objects while executing the current picking trial is just partially different from the configuration while executing the previous picking trial, we consider detecting the poses of objects just by using a part of visual image taken at the current picking trial where it is different from the visual image taken at the previous picking trial. By using this method, we do not need to try to detect the poses of all objects included in the pile at every picking trial. Assuming the 3D vision sensor attached at the wrist of a manipulator, we first explain a method to determine the pose of a 3D vision sensor maximizing the visibility of randomly stacked objects. Then, we explain a method for detecting the poses of randomly stacked objects. Effectiveness of our proposed approach is confirmed by experiments using a dual-arm manipulator where a 3D vision sensor and the two-fingered hand attached at the right and the left wrists, respectively.

研究动机与目标

• 解决每次试验中对随机料箱拣选中所有物体位姿重新检测带来的高计算成本问题。
• 利用连续拣选试验之间的视觉一致性，最小化冗余的位姿估计。
• 通过最优3D视觉传感器位姿规划，最大化随机堆叠物体的传感器可视性。
• 通过提升位姿估计的效率与精度，实现基于学习的成功预测。
• 通过仅关注堆叠物中发生变化的部分，减少实时料箱拣选的处理时间。

提出的方法

• 使用安装在机器人腕部的3D视觉传感器捕获随机堆叠物体的点云数据。
• 通过占用栅格地图最大化可视性，融合前序与当前试验的点云数据，确定最优传感器位姿。
• 将当前与前序点云分割为区域，并通过最近邻搜索进行比较，识别相似区域。
• 基于远点与近点的比例（相对于距离阈值）制定合并规则，决定是否将前序点云中的某区域纳入。
• 对于差异较大的区域，采用两步法重新估计物体位姿：先使用CVFH/CRF估计，再进行ICP优化。
• 若当前区域与前序位姿估计之间的距离低于阈值，则重用先前估计的物体位姿。

实验结果

研究问题

• RQ1 通过重用先前视觉数据，迭代视觉识别能否显著降低随机料箱拣选中物体位姿检测的计算成本？
• RQ2 如何优化传感器位姿以最大化随机堆叠物体在料箱中的可视性？
• RQ3 先前点云数据在多大程度上可被可靠地与当前数据合并，以减少遮挡？
• RQ4 选择性重新估计对位姿检测精度与处理时间有何影响？
• RQ5 基于学习的系统能否通过高效更新各次试验中的位姿估计，提升拣选成功率？

主要发现

• 所提方法通过避免在每次试验中完全重新检测所有物体位姿，显著降低了计算成本。
• 将先前点云区域与当前数据合并，减少了遮挡，提升了先前被遮挡物体部分的可视性。
• 仅对两次试验间发生显著变化的区域执行位姿估计，从而减少了处理时间。
• 该系统在双臂机器人系统中成功实现了基于迭代视觉识别的物体检测与抓取。
• 实验结果证实，物体识别仅在新捕获或发生变化的区域执行，如图7的网格单元可视化所示。
• 该方法通过将计算资源集中于堆叠物中相关且变化的部分，实现了高效的基于学习的料箱拣选。