[论文解读] Enabling Socially Competent navigation through incorporating HRI

Arturo Cruz-Maya, Fernando García+1 more|arXiv (Cornell University)|Apr 19, 2019

Video Surveillance and Tracking Methods参考文献 18被引用 4

一句话总结

本文提出了一种新颖的框架，将人机交互（HRI）整合到机器人导航中，以在路径被人员阻挡时实现社会性行为。通过结合ROS导航、OpenCV和MobileNet SSD实现实时人员检测，系统在导航暂停后评估社会情境，并在恢复前发起语音许可请求，成功实现在真实室内环境中自然的人机协作。

ABSTRACT

Over the last years, social robots have been deployed in public environments making evident the need of human-aware navigation capabilities. In this regard, the robotics community have made efforts to include proxemics or social conventions within the navigation approaches. Nevertheless, few works have tackled the problem of labelling humans as an interactive agent when blocking the robot motion trajectory. Current state of the art navigation planners will either propose an alternative path or freeze the motion until the path is free. We present the first prototype of a framework designed to enhance social competency of robots while navigating in indoor environments. The implementation is done using Navigation and Object Detection open-source software. Specifically, the Robot Operating System (ROS) navigation stack, and OpenCV with Caffe deep learning models and MobileNet Single Shot Detector (SSD), respectively.

研究动机与目标

• 解决在动态公共环境中机器人必须与阻挡路径的人员互动时缺乏社会意识导航的问题。
• 克服当前导航规划器在受阻时仅冻结或重新规划路径而无人员交互的局限性。
• 开发并部署一个将人员视为交互代理的功能系统，实现在导航过程中基于对话的许可请求。
• 在人形机器人（Pepper）上实现基于开源软件栈的真实世界部署，支持社会性导航。
• 引入情境评估模块，仅在路径长度和障碍物接近度指标满足条件时触发HRI。

提出的方法

• 使用ROS导航堆栈进行全局和局部路径规划，结合代价图和动态重新配置。
• 利用OpenCV结合Caffe和MobileNet单次检测器（SSD）从深度图和RGB数据中实现实时人员检测。
• 对激光扫描数据应用MeanShift聚类，以在路径受阻时（距离 < 3m）检测人员集群。
• 当路径受阻时触发情境评估模块，通过比较新路径长度与原始路径长度，判断是否需要交互。
• 若路径受阻且新路径长于原始路径，则停止导航并经由NAOqi应用程序发起语音交互。
• 采用5秒超时机制在路径仍受阻时重新提示请求许可，确保持续性而不致冻结。

实验结果

研究问题

• RQ1 机器人如何在有人群的环境中导航，同时在被人员阻挡时尊重社会规范？
• RQ2 能否通过引入HRI增强机器人的导航系统，使其请求通行许可而非自动重新规划路径或冻结？
• RQ3 在何种条件下应触发社会性适当的交互，而非自动重新规划路径？
• RQ4 原始路径与新轨迹之间的路径长度比较如何影响是否选择交互或重新规划的决策？
• RQ5 此类系统的实际部署能否在未预设的、动态的场景中展示成功的人机协作？

主要发现

• 系统成功利用激光扫描聚类和人员检测识别受阻路径，仅在必要时触发交互。
• 在真实世界测试中，机器人在受阻时暂停导航并发起语音许可请求，实现了自然的人机协作。
• 一个意外结果是，有人员听到机器人请求后主动要求他人让出通道，表现出自发的合作行为。
• 路径长度比较机制使机器人在可选择更短路径时避免交互，从而保持效率。
• 系统在走廊等多人动态室内环境中表现出稳健性，维持了社会性能力。
• 尽管离线推理带来性能开销，该框架仍成功部署并测试于真实世界场景中的人形机器人（Pepper）上。