[论文解读] Identifying Most Walkable Direction for Navigation in an Outdoor Environment

Sachin Mehta, Hannaneh Hajishirzi+1 more|arXiv (Cornell University)|Nov 21, 2017

Video Surveillance and Tracking Methods参考文献 61被引用 4

一句话总结

本文提出了一种使用手持摄像头在非受限户外环境中实时识别最适宜行走方向的系统，通过自定义的快速且精确的语义分割网络以及时空图建模，学习基于物体属性的成本函数。该方法在预测安全导航方向方面达到84%的准确率，在PASCAL VOC和PASCAL Context上的mIOU分别达到81和44.7，同时运行速度约为21 FPS。

ABSTRACT

We present an approach for identifying the most walkable direction for navigation using a hand-held camera. Our approach extracts semantically rich contextual information from the scene using a custom encoder-decoder architecture for semantic segmentation and models the spatial and temporal behavior of objects in the scene using a spatio-temporal graph. The system learns to minimize a cost function over the spatial and temporal object attributes to identify the most walkable direction. We construct a new annotated navigation dataset collected using a hand-held mobile camera in an unconstrained outdoor environment, which includes challenging settings such as highly dynamic scenes, occlusion between objects, and distortions. Our system achieves an accuracy of 84% on predicting a safe direction. We also show that our custom segmentation network is both fast and accurate, achieving mIOU (mean intersection over union) scores of 81 and 44.7 on the PASCAL VOC and the PASCAL Context datasets, respectively, while running at about 21 frames per second.

研究动机与目标

• 开发一种实时导航系统，用于在非受限户外环境中为视障用户提供最适宜行走方向的识别。
• 克服现有系统依赖触觉辅助工具（如白色手杖）或室内传感器的局限性，这些工具在户外环境中无效。
• 利用手持摄像头捕捉第一视角画面，设计一种鲁棒的解决方案，实现在复杂户外场景中的安全、动态导航。
• 设计一种轻量化但高精度的语义分割网络，确保在低延迟下保持高性能，适用于实时部署。
• 构建一个大规模且具有挑战性的户外导航标注数据集，以支持辅助技术领域的研究。

提出的方法

• 采用自定义的编码器-解码器架构进行语义分割，针对速度与精度进行优化，在PASCAL VOC上达到81的mIOU，在PASCAL Context上达到44.7的mIOU。
• 构建时空图以建模检测到物体的空间与时间行为，捕捉环境中随时间变化的动态特征。
• 在物体的空间属性（如距离、位置）和时间属性（如运动、速度）上学习成本函数，以识别最安全的可通行方向。
• 系统使用手持摄像头的第一视角视频输入，实时检测并跟踪物体，包括行人和障碍物。
• 网络设计采用多尺度残差块，以高效聚合上下文信息，实现在低深度和高速推理下的高性能。
• 评估空洞卷积作为标准卷积的替代方案，结果显示性能略有下降但参数量更少。

实验结果

研究问题

• RQ1 如何仅使用手持摄像头在非受限户外环境中识别最适宜行走的方向？
• RQ2 轻量化、实时的语义分割模型能否在保持低延迟的同时实现高精度，适用于辅助导航系统？
• RQ3 时空建模与成本函数学习如何提升在动态户外场景中的安全性与适应性？
• RQ4 在移动端辅助应用的语义分割中，模型深度、宽度与推理速度之间存在怎样的性能权衡？
• RQ5 自定义架构在PASCAL VOC和Cifar等基准数据集上，能在精度与速度方面超越现有最先进模型多大程度？

主要发现

• 所提系统在新收集的户外导航数据集上，预测最适宜行走方向的准确率达到84%。
• 自定义分割网络在PASCAL VOC上的mIOU达到81，在PASCAL Context上达到44.7，优于同等深度的许多现有模型。
• 系统运行速度约为21帧每秒，证明其具备适用于移动设备部署的实时性能。
• 该网络在深度为38时，Cifar-10上的top-5错误率为4.99%，与更深的ResNet-1001（4.92%）相当，但参数量显著更少。
• 空洞卷积虽减少参数量，但相比标准卷积导致性能轻微下降，在深度38时Cifar-10上的错误率高出1.47%。
• 该方法能成功适应动态场景：初始阶段将远处物体识别为最安全方向，但当运动模式显示地面物体更安全且稳定时，系统会动态更新为该目标。