[论文解读] A Convolutional Neural Network based Live Object Recognition System as Blind Aid

Kedar Potdar, Chinmay D. Pai+1 more|arXiv (Cornell University)|Nov 26, 2018

Advanced Neural Network Applications参考文献 4被引用 24

一句话总结

本文提出了一种基于CNN的实时、面向视障用户的活体物体识别系统，利用摄像头和便携式计算设备，通过YOLO启发的模型结合ELU激活函数，实现对ImageNet中物体的检测与分类。系统在200个ImageNet类别上达到50 mAP，top-1准确率为70.6%，可实时提供音频或盲文反馈，增强环境感知能力。

ABSTRACT

This paper introduces a live object recognition system that serves as a blind aid. Visually impaired people heavily rely on their other senses such as touch and auditory signals for understanding the environment around them. The act of knowing what object is in front of the blind person without touching it (by hand or some other tool) is very difficult. In some cases, the physical contact between the person and object can be dangerous, and even lethal. This project employs a Convolutional Neural Network for recognition of pre-trained objects on the ImageNet dataset. A camera, aligned with the system's predetermined orientation serves as input to the computer system, which has the object recognition Neural Network deployed to carry out real-time object detection. Output from the network can then be parsed to present to the visually impaired person either in the form of audio or Braille text.

研究动机与目标

• 开发一种实时、便携的物体识别系统，帮助视障人士在不接触物体的情况下识别环境中的物体。
• 通过计算机视觉与深度学习实现非接触式物体检测，减少对触觉或听觉线索的单一依赖。
• 在便携式硬件上部署轻量化、高效的CNN模型，实现实时推理且计算开销最小化。
• 通过音频或盲文文本提供可访问的输出，提升环境感知能力与安全性。
• 在真实场景（包括杂乱与室内环境）中评估系统性能。

提出的方法

• 系统以摄像头作为输入，图像被缩放至416×416像素，以在细节与计算效率之间取得平衡。
• 采用YOLO启发的CNN架构，包含7层卷积层与最大池化层，后接全连接层用于分类。
• 网络使用指数线性单元（ELU）作为激活函数，以提升学习速度与准确性，其定义为：f(x) = x（当x ≥ 0时），否则为a(exp(x)−1)。
• 物体检测输出被归一化至[0,1]区间，以降低计算复杂度并提升推理速度。
• 模型在ImageNet 1000类数据集上进行预训练，并通过边界框回归进行微调以实现物体检测。
• 输出以JSON格式生成，并映射为音频或盲文以供用户反馈。

实验结果

研究问题

• RQ1 轻量级CNN系统是否能在便携式硬件上实现视障用户所需的实时物体检测？
• RQ2 该系统在复杂或杂乱场景（如道路或室内环境）中的物体检测准确性如何？
• RQ3 在使用ELU激活函数并减少网络深度的情况下，模型准确率与推理速度之间的权衡如何？
• RQ4 该系统在多大程度上可实现非接触式物体识别，从而降低安全风险？
• RQ5 该系统在真实环境中对小型或部分可见物体的识别效果如何？

主要发现

• 系统在ImageNet 200类验证数据集上达到50%的平均精度均值（mAP），表明其在多样化场景中具备出色的检测性能。
• 在ImageNet验证数据集上，top-1准确率达到70.6%，证明其对常见物体具有可靠的分类能力。
• 由于采用单次推理架构，模型推理时间极短，可在便携设备上实现实时物体检测。
• 在密集场景（如十字路口）中，系统能正确检测到多人与车辆等物体，即使存在部分遮挡。
• 室内检测性能表现稳定，但对小型或低分辨率物体的识别准确率下降，例如可能将公交车误分类为卡车。
• 系统性能受限于计算资源，准确率的提升需以增加推理时间为代价。