[论文解读] Building an Integrated Mobile Robotic System for Real-Time Applications in Construction

Khashayar Asadi, Hariharan Ramshankar+8 more|arXiv (Cornell University)|Mar 5, 2018

Robotics and Sensor-Based Localization参考文献 10被引用 9

一句话总结

本文提出了一种集成的移动机器人系统，结合单目SLAM与实时上下文感知场景理解，用于自主建筑工地监控。该系统使用多个NVIDIA Jetson TX1板卡，在多种户外环境中实现了近实时的障碍物与可通行空间映射，展示了无需人工干预的鲁棒、自包含运行能力。

ABSTRACT

One of the major challenges of a real-time autonomous robotic system for construction monitoring is to simultaneously localize, map, and navigate over the lifetime of the robot, with little or no human intervention. Past research on Simultaneous Localization and Mapping (SLAM) and context-awareness are two active research areas in the computer vision and robotics communities. The studies that integrate both in real-time into a single modular framework for construction monitoring still need further investigation. A monocular vision system and real-time scene understanding are computationally heavy and the major state-of-the-art algorithms are tested on high-end desktops and/or servers with a high CPU- and/or GPU- computing capabilities, which affect their mobility and deployment for real-world applications. To address these challenges and achieve automation, this paper proposes an integrated robotic computer vision system, which generates a real-world spatial map of the obstacles and traversable space present in the environment in near real-time. This is done by integrating contextual Awareness and visual SLAM into a ground robotics agent. This paper presents the hardware utilization and performance of the aforementioned system for three different outdoor environments, which represent the applicability of this pipeline to diverse outdoor scenes in near real-time. The entire system is also self-contained and does not require user input, which demonstrates the potential of this computer vision system for autonomous navigation.

研究动机与目标

• 开发一种自包含的、实时的移动机器人系统，用于在最小人工干预下实现自主建筑工地监控。
• 将单目SLAM与场景理解（语义分割）整合到单一模块化框架中，用于空间映射。
• 利用低功耗嵌入式硬件实现实时定位、建图与障碍物检测，适用于现场部署。
• 在光照和物体条件多变的多样化户外建筑环境中验证系统的鲁棒性与性能。
• 证明在嵌入式平台上部署先进计算机视觉流水线以实现在动态建筑环境中自主导航的可行性。

提出的方法

• 系统使用多个NVIDIA Jetson TX1板卡，将计算负载分配给SLAM、上下文感知、控制与映射模块。
• 采用ORB-SLAM实现单目视觉里程计与基于特征的建图，提供实时跟踪与非缩放的3D重建。
• 利用GPU运行基于ENet神经网络的语义分割流水线，实时识别障碍物与可通行区域。
• SLAM模块向上下文感知与控制模块发布跟踪状态（例如“跟踪丢失”），以实现协调。
• 通过分割图像与里程计数据，增量式更新全局占用栅格地图，并使用ROS RVIZ进行可视化。
• 系统以1 Hz的流水线速率运行，处理来自真实户外场景的视频序列，生成空间地图。

实验结果

研究问题

• RQ1 单目视觉系统是否能在动态户外建筑环境中实现实时、自包含的定位与建图？
• RQ2 上下文感知的语义分割在实时集成SLAM中，对障碍物与可通行空间检测的有效性如何？
• RQ3 在并行运行SLAM、分割与建图时，计算负载在嵌入式硬件上的分布情况如何？
• RQ4 系统在光照与物体类型多变的多样化户外场景中，如何保持鲁棒性与性能？
• RQ5 该模块化框架在多大程度上可扩展至更大规模环境或更复杂的导航任务？

主要发现

• 系统成功在三个不同的户外建筑环境中实时生成了障碍物与可通行区域的2D空间地图。
• ORB-SLAM在Jetson TX1上实现了实时性能，平均CPU使用率为186%（相当于单核的约46.5%），证明了其在嵌入式硬件上的可行性。
• 上下文感知模块（使用ENet进行语义分割）导致GPU使用率显著上升（最高达100%），证实其计算需求较高。
• 系统在所有测试环境中均保持稳定的1 Hz流水线速率，处理的视频帧数为570至909帧（持续时间9.5至15.15分钟）。
• 映射与控制模块的计算负载极低，表明在单个Jetson板卡上运行多个模块具有潜力。
• 系统实现了无需用户输入的自主运行，通过跟踪状态反馈在丢失跟踪时可实现路径重溯。