[论文解读] Visual search and recognition for robot task execution and monitoring

Lorenzo Mauro, Francesco Puja+5 more|arXiv (Cornell University)|Feb 7, 2019

Reinforcement Learning in Robotics参考文献 39被引用 6

一句话总结

本文提出了一种基于视觉的执行监控框架，将深度强化学习与经典规划相结合，使机器人能够在真实环境中自主搜索并识别任务相关物体，从失败中恢复，并完成任务。该系统通过改进的DQN学习视觉搜索策略，并利用Faster R-CNN进行目标检测，在平均19步内实现88.47%的视觉搜索成功率。

ABSTRACT

Visual search of relevant targets in the environment is a crucial robot skill. We propose a preliminary framework for the execution monitor of a robot task, taking care of the robot attitude to visually searching the environment for targets involved in the task. Visual search is also relevant to recover from a failure. The framework exploits deep reinforcement learning to acquire a "common sense" scene structure and it takes advantage of a deep convolutional network to detect objects and relevant relations holding between them. The framework builds on these methods to introduce a vision-based execution monitoring, which uses classical planning as a backbone for task execution. Experiments show that with the proposed vision-based execution monitor the robot can complete simple tasks and can recover from failures in autonomy.

研究动机与目标

• 为解决传统3D地图无法与机器人视线及任务相关性对齐的问题。
• 开发一种简洁的、基于心理地图的表示方法，仅捕捉与任务相关的物体及其关系，以实现高效感知。
• 通过基于视觉的视觉搜索与深度强化学习引导，实现自主的故障恢复。
• 将经典规划与实时视觉感知相结合，实现稳健的任务执行监控。
• 通过聚焦显著性驱动、目标导向的视觉搜索，减少对完整3D场景重建的依赖。

提出的方法

• 该框架使用在虚拟环境中训练的改进型深度Q网络（DQN），从RGB输入中学习以视线为导向的视觉搜索策略。
• 通过Faster R-CNN执行目标检测与关系识别，以提取场景特征用于状态表示。
• 心理地图被构建为动态的、与任务相关的检测物体及其空间关系的快照，从而最小化内存开销。
• 执行监控模块协调规划与感知，验证后置条件，并在检测到失败时触发视觉搜索。
• 系统以循环方式运行：规划器提出动作，感知模块验证条件，当发生失败时，视觉搜索重新定向注意力。
• 训练首先在仿真环境中进行，后续计划在真实环境中进行微调，以提升泛化能力。

实验结果

研究问题

• RQ1 机器人如何在不维护完整环境3D重建的前提下，高效搜索任务相关物体？
• RQ2 深度强化学习策略在多大程度上能够学习到有效的视觉搜索策略，以支持机器人任务执行与故障恢复？
• RQ3 仅包含检测到的物体及其关系的心理地图表示，是否能够支持可靠的任务执行与监控？
• RQ4 将经典规划与基于视觉的感知相结合，如何提升任务的鲁棒性并实现故障恢复？
• RQ5 与随机搜索相比，学习到的视觉搜索策略在真实世界任务执行中能带来多大的性能提升？

主要发现

• 训练后的视觉搜索策略在平均19步内实现88.47%的成功率定位目标物体，而随机探索仅达到2.97%。
• 视觉搜索策略学会了优先查看目标物体预期高度的位置，再扫描周围区域，体现了有效搜索策略的学习能力。
• 定位与操作动作的恢复成功率高于抓取动作，后者因失败概率更高而始终是最具挑战性的。
• 目标检测失败是视觉搜索失败的主要原因，凸显了在真实世界部署中实现鲁棒感知的必要性。
• 系统成功完成了每类任务（物体收集与归位）35次运行，展示了在真实世界执行中的自主性。
• 失败概率的直方图显示，复杂动作如抓取和定位的失败率更高，而简单动作如传递的失败率较低，这得益于人类的适应能力。