[论文解读] GlassLoc: Plenoptic Grasp Pose Detection in Transparent Clutter

Zheming Zhou, Tianyang Pan+3 more|arXiv (Cornell University)|Sep 10, 2019

Robot Manipulation and Learning参考文献 27被引用 5

一句话总结

GlassLoc 提出了一种基于全光影像的抓取位姿检测系统，用于在杂乱环境中检测透明物体的抓取位姿，采用多视角光场成像技术。通过从子孔径图像构建深度似然体（DLV）以推断透明物体的占据情况，该方法实现了精确的6-DoF抓取检测，在五种玻璃器皿的220次抓取试验中取得了81%的成功率。

ABSTRACT

Transparent objects are prevalent across many environments of interest for dexterous robotic manipulation. Such transparent material leads to considerable uncertainty for robot perception and manipulation, and remains an open challenge for robotics. This problem is exacerbated when multiple transparent objects cluster into piles of clutter. In household environments, for example, it is common to encounter piles of glassware in kitchens, dining rooms, and reception areas, which are essentially invisible to modern robots. We present the GlassLoc algorithm for grasp pose detection of transparent objects in transparent clutter using plenoptic sensing. GlassLoc classifies graspable locations in space informed by a Depth Likelihood Volume (DLV) descriptor. We extend the DLV to infer the occupancy of transparent objects over a given space from multiple plenoptic viewpoints. We demonstrate and evaluate the GlassLoc algorithm on a Michigan Progress Fetch mounted with a first-generation Lytro. The effectiveness of our algorithm is evaluated through experiments for grasp detection and execution with a variety of transparent glassware in minor clutter.

研究动机与目标

• 解决在透明杂乱环境中机器人感知与操作的挑战，其中深度传感器因透明性而失效。
• 通过利用光场成像提升深度估计性能，克服传统RGB-D传感在检测透明物体方面的局限性。
• 开发一种通用方法，基于多视角光场观测构建深度似然体（DLV），以建模透明物体的占据情况。
• 将基于DLV的抓取检测集成到完整的机器人操作流程中，实现在真实杂乱环境中的抓取与放置任务。
• 在孤立与重叠杂乱配置下，对多种透明玻璃器皿展示鲁棒性能。

提出的方法

• 使用安装在机器人末端执行器上的第一代Lytro光场相机捕获多视角全光影像观测数据。
• 从原始光场数据中提取7×7个子孔径图像，舍弃噪声较大的边界图像以提升深度估计质量。
• 构建深度似然体（DLV）作为三维体素网格，表示空间中各点的深度似然概率，采用多射线融合与反射抑制技术。
• 基于夹爪几何形状在DLV中采样抓取候选位姿，并将其转换至世界坐标系进行评估。
• 在每个抓取候选位姿周围从DLV体素中提取9通道灰度图像特征，并使用基于LeNet的卷积神经网络进行分类，输出类别为两类（可抓取 vs. 不可抓取）。
• 采用粒子滤波算法，设置100个粒子与100次迭代，对抓取位姿估计进行优化，其中平移与旋转的协方差参数分别为10⁻⁴ m²与0.03 rad²。

实验结果

研究问题

• RQ1 在标准深度传感器失效的杂乱环境中，全光影像能否有效检测透明物体的可抓取位姿？
• RQ2 基于光场数据构建的多视角深度似然体（DLV）在多大程度上能准确表示透明物体在三维空间中的占据情况？
• RQ3 基于DLV特征的抓取分类器在轻微杂乱环境下，对不同透明玻璃器皿的泛化能力如何？
• RQ4 集成GlassLoc的完整机器人操作流程在真实桌面抓取与放置任务中的性能表现如何？
• RQ5 物体几何形状与夹爪设计在透明杂乱环境中的抓取成功率方面有何影响？

主要发现

• GlassLoc系统在八个复杂透明杂乱场景中，220次抓取试验的总体抓取成功率达到81%。
• 多数场景的特定抓取成功率超过75%，其中两个场景分别达到100%与85%的成功率。
• 酒杯的抓取成功率最高，达到92%（60次试验），而矮杯最低，为65%（40次试验），归因于其陡峭倾斜的表面及缺乏力反馈。
• 汤匙的抓取成功率为70%，表明对细长、低轮廓的透明物体存在挑战。
• 使用未优化的MATLAB代码，DLV构建过程每视角约耗时10分钟，光场解码与射线对应关系被识别为性能瓶颈。
• 在场景(g)中，系统成功执行了100%的抓取与放置任务，表明其在最多四个重叠透明物体的场景中具有高度鲁棒性。