[论文解读] 3D Move to See: Multi-perspective visual servoing for improving object views with semantic segmentation

Chris Lehnert, Dorian Tsai+2 more|arXiv (Cornell University)|Sep 21, 2018

Advanced Vision and Imaging参考文献 16被引用 7

一句话总结

本文提出3D Move to See（3DMTS），一种利用3D相机阵列与语义分割的视觉伺服方法，可动态寻找被遮挡物体的下一个最佳视角。通过在多个视角上计算基于梯度的目标函数，机器人机械臂可朝向局部最优视角移动，使目标物体尺寸平均增加29.3%，较单个RGB-D相机基线方法提升三倍，显著提升下游任务（如抓取与收获）中的可见性。

ABSTRACT

In this paper, we present a new approach to visual servoing for robotics, referred to as 3D Move to See (3DMTS), based on the principle of finding the next best view using a 3D camera array and a robotic manipulator to obtain multiple samples of the scene from different perspectives. The method uses semantic vision and an objective function applied to each perspective to sample a gradient representing the direction of the next best view. The method is demonstrated within simulation and on a real robotic platform containing a custom 3D camera array for the challenging scenario of robotic harvesting in a highly occluded and unstructured environment. It was shown on a real robotic platform that by moving the end effector using the gradient of an objective function leads to a locally optimal view of the object of interest, even amongst occlusions. The overall performance of the 3DMTS method obtained a mean increase in target size by 29.3% compared to a baseline method using a single RGB-D camera, which obtained 9.17%. The results demonstrate qualitatively and quantitatively that the 3DMTS method performed better in most scenarios, and yielded three times the target size compared to the baseline method. The increased target size in the final view will improve the detection of key features of the object of interest for further manipulation, such as grasping and harvesting.

研究动机与目标

• 为解决在非结构化、遮挡环境中寻找最优视角角度的挑战，传统视觉伺服方法因缺乏已知模板而失效。
• 使机器人系统能够通过实时多视角感知，动态选择下一个最佳视角，自主绕过遮挡物。
• 通过最大化目标物体的可见区域，提升下游操作任务（如抓取与收获）中的物体可见性。
• 开发一种无需预定义图像模板（$I_t$）的方法，适用于自然、多变的环境（如农业收获场景）。
• 在仿真环境与真实机器人平台上验证该方法，采用自定义3D相机阵列，展示其在复杂真实场景中的鲁棒性。

提出的方法

• 该方法采用由九个Pi相机与十个Pi Zero模块组成的3D相机阵列，同步捕获场景的多个视角，实现实时多视角采样。
• 利用语义分割在每个相机视角中识别目标物体（如甜椒），提供像素级掩码以量化目标区域。
• 基于每个相机视角中分割目标的可见面积，计算目标函数，作为该视角质量的评分。
• 计算目标函数在相机阵列上的梯度，以确定能最大化目标可见性的运动方向，通过视觉伺服引导机器人末端执行器运动。
• 机器人沿梯度方向移动，同时遵守运动学与工作空间约束，迭代优化视角，直至满足停止条件。
• 该方法在反馈回路中运行：每次运动后，重新捕获多视角图像，重新计算目标函数，并确定下一步动作。

实验结果

研究问题

• RQ1 多视角3D相机阵列是否能够在无需已知图像模板（$I_t$）的情况下，实现实时、基于梯度的视觉伺服？
• RQ2 所提出的3DMTS方法在高度遮挡且非结构化的环境（如农田）中，提升物体可见性的效果如何？
• RQ3 与传统基于特征的方法相比，语义分割在多大程度上提升了下一个最佳视角选择的鲁棒性与准确性？
• RQ4 在目标尺寸增加与视角质量方面，3DMTS方法相较于单个RGB-D相机基线方法表现如何？
• RQ5 该方法是否能可靠地绕过遮挡物，并从具有挑战性的初始位置收敛至局部最优视角？

主要发现

• 3DMTS方法在所有遮挡场景下实现了目标物体尺寸平均增加29.3%，显著优于基线方法。
• 使用单个RGB-D相机的基线方法仅实现目标尺寸平均增加9.17%，表明多视角感知对性能至关重要。
• 除少数情况外，3DMTS方法生成的视角更居中且更全面，如图10中的视觉对比所示。
• 在真实世界试验中，该方法成功绕过遮挡物，机器人轨迹在多种初始配置下均收敛至目标，如图9所示。
• 由于采用基于梯度的采样，系统对分割误差具有鲁棒性，可平滑处理语义预测中的瞬时不准确。
• 3DMTS生成的最终视角对抓取等操作任务更具实用性，因其显著提升了目标物体关键特征的可见性。