[论文解读] Control of the Final-Phase of Closed-Loop Visual Grasping using Image-Based Visual Servoing

Jesse Haviland, Feras Dayoub+1 more|arXiv (Cornell University)|Jan 16, 2020

Advanced Vision and Imaging被引用 8

一句话总结

本文提出一种切换控制策略，利用基于图像的视觉伺服控制（IBVS）将基于RGB-D的抓取系统的闭环抓取控制范围扩展至其最小深度感知距离之外。通过从最后一张有效的深度图像中预测目标图像特征，并利用SIFT特征实现鲁棒的特征对应，该方法实现了对运动物体的可靠抓取，在动态实验中取得了76.25%的成功率，显著优于开环基线方法。

ABSTRACT

This paper considers the final approach phase of visual-closed-loop grasping where the RGB-D camera is no longer able to provide valid depth information. Many current robotic grasping controllers are not closed-loop and therefore fail for moving objects. Closed-loop grasp controllers based on RGB-D imagery can track a moving object, but fail when the sensor's minimum object distance is violated just before grasping. To overcome this we propose the use of image-based visual servoing (IBVS) to guide the robot to the object-relative grasp pose using camera RGB information. IBVS robustly moves the camera to a goal pose defined implicitly in terms of an image-plane feature configuration. In this work, the goal image feature coordinates are predicted from RGB-D data to enable RGB-only tracking once depth data becomes unavailable -- this enables more reliable grasping of previously unseen moving objects. Experimental results are provided.

研究动机与目标

• 解决在接近物体进入RGB-D传感器最小深度感知距离时，闭环RGB-D抓取控制器失效的问题。
• 仅使用RGB图像数据，在最终抓取阶段实现连续的闭环控制。
• 提出一种从深度数据和机器人位姿预测IBVS目标图像特征配置的方法，无需依赖物体模型。
• 提升在动态环境中对先前未见过的运动物体的抓取可靠性。

提出的方法

• 利用最后一张有效的深度图像、机器人末端执行器位姿和抓取合成器输出，预测IBVS的目标图像特征配置。
• 在IBVS过程中使用尺度和旋转不变的SIFT特征以实现鲁棒的特征对应。
• 使用从最后一张有效深度测量中获得的固定深度估计计算图像雅可比矩阵。
• 当物体进入RGB-D相机的最小感知距离时，从基于深度的控制切换到IBVS。
• 实施IBVS以驱动图像特征向预测的目标配置移动，确保在图像平面上呈直线运动。
• 将IBVS控制器与实时抓取合成器集成，每轮推理耗时19 ms。

实验结果

研究问题

• RQ1 IBVS能否有效扩展RGB-D相机最小深度感知距离之外的闭环抓取控制范围？
• RQ2 能否仅从单张深度图像和机器人位姿准确预测IBVS的目标图像特征配置？
• RQ3 与开环抓取相比，IBVS在最终抓取阶段对运动物体的性能提升如何？
• RQ4 特征稳定性和可见性如何影响基于IBVS的抓取系统的鲁棒性？
• RQ5 在动态环境中，所提出的切换控制策略的主要失效模式是什么？

主要发现

• 所提出的切换控制器在动态抓取实验中对运动物体实现了76.25%的抓取成功率，显著优于基线开环系统的0%成功率。
• IBVS控制器成功将图像特征引导至预测的目标配置，尽管使用了固定深度估计，其轨迹在图像平面上仍接近直线。
• 与二值特征相比，SIFT特征的特征跟踪噪声更高，但系统仍保持稳定并持续达到目标。
• 具有更多显著SIFT特征的大尺寸物体表现出更高的成功率，表明特征丰富度可提升性能。
• 主要失效模式包括快速移动物体脱离摄像头视场以及因高速导致的图像模糊，提示需要引入速度估计和前馈控制。
• 该方法在保留无模型抓取合成优势的同时，将闭环控制扩展至最终抓取阶段，实现了对未见过的动态物体的鲁棒抓取。