[论文解读] Knowledge-Enabled Robotic Agents for Shelf Replenishment in Cluttered Retail Environments

Jan Winkler, Ferenc Bálint-Benczédi+6 more|arXiv (Cornell University)|May 13, 2016

Advanced Manufacturing and Logistics Optimization被引用 9

一句话总结

本文提出了一种知识增强的机器人框架，用于在杂乱的零售环境中实现自主货架补货，通过融合感知、基于知识的推理与操作，处理遮挡、堆叠物体以及模糊的空间指令。该系统成功地在PR2机器人上规划并执行了物体重新排列，在复杂杂乱与动态条件下的真实世界和仿真场景中表现出稳健性能。

ABSTRACT

Autonomous robots in unstructured and dynamically changing retail environments have to master complex perception, knowledgeprocessing, and manipulation tasks. To enable them to act competently, we propose a framework based on three core components: (o) a knowledge-enabled perception system, capable of combining diverse information sources to cope with occlusions and stacked objects with a variety of textures and shapes, (o) knowledge processing methods produce strategies for tidying up supermarket racks, and (o) the necessary manipulation skills in confined spaces to arrange objects in semi-accessible rack shelves. We demonstrate our framework in an simulated environment as well as on a real shopping rack using a PR2 robot. Typical supermarket products are detected and rearranged in the retail rack, tidying up what was found to be misplaced items.

研究动机与目标

• 解决在高度无序、动态的零售环境中因严重遮挡和杂乱导致的自主货架补货挑战。
• 使机器人代理能够基于定性空间描述和隐式操作动作对物体排列进行推理。
• 开发一种系统，实现鲁棒的感知与操作，而无需事先知晓物体的位置或朝向。
• 将基于知识的推理与操作规划相结合，实现在真实零售场景中的目标导向行为。

提出的方法

• 基于背景知识的感知系统融合多模态传感器数据，以检测和定位被遮挡物体，以及具有重复纹理或形状的物体。
• 知识处理方法利用定性空间推理与语义理解，推断物体关系并生成重新排列策略。
• 提出一种新型规划器，生成将相似物品分组的动作序列，并通过隐式次级动作处理遮挡问题。
• 在狭小空间中执行操作技能，采用谨慎的避碰运动规划，避免扰动邻近物体。
• 系统采用网格单元铺砌方法，根据目标配置为产品组分配空间。
• 在PR2机器人上开展真实世界评估，使用具有真实物体布局和干扰的仿真零售货架。

实验结果

研究问题

• RQ1 机器人代理如何在无先验位置或朝向信息的前提下，感知并推理高度杂乱且遮挡严重的零售环境中的物体排列？
• RQ2 哪些基于知识的推理技术可使系统在模糊空间指令下生成可行的操作策略以实现货架整理？
• RQ3 机器人如何通过隐式次级动作自主解决物体遮挡问题，而无需显式重新抓取或预规划？
• RQ4 语义理解与空间推理对动态零售场景中操作任务的鲁棒性与成功率有何影响？
• RQ5 感知、推理与操作的集成如何实现真实世界部署中的长期、可靠性能？

主要发现

• 该系统在仿真和真实世界环境中成功检测并重新排列了典型的超市商品，包括严重遮挡和堆叠物体的情境。
• 在真实机器人实验中，系统在1.9至124.4秒内完成物体重新排列任务，平均动作序列成本在17.2至32.4之间，具体取决于任务复杂度。
• 该框架在处理多重遮挡、不规则形状物体及堆叠物品方面表现出鲁棒性，在测试条件下核心感知与规划未出现故障。
• 定性空间推理的使用使机器人能够推断被遮挡物体的位置，并规划有效的次级动作以访问它们。
• 即使在物体堆叠或与相似纹理对齐的情况下，系统仍能成功执行操作，优于标准仅依赖感知的方法。
• 基于知识的推理集成显著提升了规划效率与成功率，尤其在复杂、动态场景中表现突出。