[论文解读] Can we cover navigational perception needs of the visually impaired by panoptic segmentation?

Wei Mao, Jiaming Zhang+2 more|arXiv (Cornell University)|Jul 20, 2020

Tactile and Sensory Interactions参考文献 31被引用 7

一句话总结

本文提出了一种可穿戴辅助系统，采用全景分割技术，通过实时同时识别‘物体’（如行人、车辆）和‘stuff’（如道路、人行道），为视障用户提供统一、整体的场景感知。该系统利用单一深度学习模型，实现全面、像素级的语义与实例感知理解，显著提升了导航安全性与环境意识，超越了传统分割方法。

ABSTRACT

Navigational perception for visually impaired people has been substantially promoted by both classic and deep learning based segmentation methods. In classic visual recognition methods, the segmentation models are mostly object-dependent, which means a specific algorithm has to be devised for the object of interest. In contrast, deep learning based models such as instance segmentation and semantic segmentation allow to individually recognize part of the entire scene, namely things or stuff, for blind individuals. However, both of them can not provide a holistic understanding of the surroundings for the visually impaired. Panoptic segmentation is a newly proposed visual model with the aim of unifying semantic segmentation and instance segmentation. Motivated by that, we propose to utilize panoptic segmentation as an approach to navigating visually impaired people by offering both things and stuff awareness in the proximity of the visually impaired. We demonstrate that panoptic segmentation is able to equip the visually impaired with a holistic real-world scene perception through a wearable assistive system.

研究动机与目标

• 为解决现有视障辅助系统中环境意识有限的问题，这些系统通常依赖于特定对象的模型或缺乏对背景的理解。
• 在单一、一致的框架中统一识别可计数对象（'things'）与无定形区域（'stuff'），以改善场景感知。
• 评估全景分割是否能通过提供整体、像素级的场景理解，全面满足导航感知需求。
• 开发并验证一种集成全景分割与RGB-D传感的可穿戴辅助系统，以实现实时、三维感知的导航支持。

提出的方法

• 该系统采用基于深度学习的全景分割模型，为每个像素分配类别标签和实例ID，从而实现对‘物体’和‘stuff’的统一理解。
• 可穿戴RGB-D摄像头从前视角度实时捕获视觉与深度数据，面向视障用户。
• 对全景分割输出进行处理，提取语义信息与实例特定信息，如物体类别与空间距离。
• 系统将分割结果转换为音频提示（如语音描述），向用户传达物体类型、位置及空间关系。
• 在多样化城市环境（包括人行道、桥梁与环岛）中捕获的真实世界序列上评估该框架。
• 深度数据的整合增强了三维场景理解，支持距离估算，对导航安全至关重要。

实验结果

研究问题

• RQ1 全景分割能否为视障用户提供真实场景中‘物体’和‘stuff’的统一、全面感知？
• RQ2 全景分割相较于语义分割与实例分割，在支持视障人士导航意识方面表现如何？
• RQ3 可穿戴全景分割系统在多样化城市导航场景中能保持多大程度的鲁棒性与准确性？
• RQ4 该系统能否通过音频反馈有效传达物体身份与空间上下文，以增强实时导航？

主要发现

• 全景分割成功统一了语义分割与实例分割，通过单一输出同时提供类别级与实例级理解，克服了先前方法的局限。
• 该系统在多种城市环境中（包括环岛与公交站）对道路、人行道、车辆与行人等关键导航要素保持高精度分割。
• 可视化结果表明，全景分割在不同光照与遮挡条件下仍能正确识别独立物体（如多辆汽车）与连续区域（如人行道与道路）。
• RGB-D摄像头提供的深度数据整合增强了空间意识，支持距离估算，这对安全导航至关重要。
• 系统在真实世界导航序列中表现出稳健性能，在动态场景中保持一致且可靠的全景预测。
• 结果证实，全景分割是为视障人士提供整体、实时环境感知的可行且有效的方法。