[论文解读] MagicEye: An Intelligent Wearable Towards Independent Living of Visually Impaired

Sibi Chakkaravarthy Sethuraman, Gaurav R. Tadkapally+3 more|arXiv (Cornell University)|Mar 24, 2023

Tactile and Sensory Interactions被引用 5

一句话总结

MagicEye 是一款智能可穿戴设备，采用自定义训练的基于 YOLOv5 的卷积神经网络（CNN），为视障用户提供实时物体、面部和货币识别功能，结合 GPS 和近距离传感器实现导航与障碍物检测。其在货币检测中达到 99.75% 的准确率，在面部识别中达到 94.5% 的准确率，提供全面的实时音频反馈系统，显著提升独立生活能力。

ABSTRACT

Individuals with visual impairments often face a multitude of challenging obstacles in their daily lives. Vision impairment can severely impair a person's ability to work, navigate, and retain independence. This can result in educational limits, a higher risk of accidents, and a plethora of other issues. To address these challenges, we present MagicEye, a state-of-the-art intelligent wearable device designed to assist visually impaired individuals. MagicEye employs a custom-trained CNN-based object detection model, capable of recognizing a wide range of indoor and outdoor objects frequently encountered in daily life. With a total of 35 classes, the neural network employed by MagicEye has been specifically designed to achieve high levels of efficiency and precision in object detection. The device is also equipped with facial recognition and currency identification modules, providing invaluable assistance to the visually impaired. In addition, MagicEye features a GPS sensor for navigation, allowing users to move about with ease, as well as a proximity sensor for detecting nearby objects without physical contact. In summary, MagicEye is an innovative and highly advanced wearable device that has been designed to address the many challenges faced by individuals with visual impairments. It is equipped with state-of-the-art object detection and navigation capabilities that are tailored to the needs of the visually impaired, making it one of the most promising solutions to assist those who are struggling with visual impairments.

研究动机与目标

• 解决视障人士在日常导航、物体识别和社会互动方面面临的挑战。
• 开发一种实时可穿戴辅助设备，通过音频反馈提供环境感知支持。
• 通过融合深度学习与多传感器技术，超越现有解决方案（如导盲杖、导盲犬和智能手机应用）的局限。
• 利用轻量化、冻结主干网络的 YOLOv5 模型，实现对 35 类物体、货币和人脸的高精度识别。
• 通过集成 GPS 导航与非接触式近距离检测，提升用户的自主性。

提出的方法

• 采用自定义训练的基于 YOLOv5 的卷积神经网络（CNN），并冻结特征主干网络，以降低计算负载并提升推理速度。
• 集成多种传感器：GPS 用于逐向导航，近距离传感器用于障碍物检测，摄像头用于视觉输入。
• 通过骨传导技术提供音频反馈，实时传达物体、人脸和货币识别结果。
• 在包含 35 种日常物体类别的自定义数据集上对模型进行微调，并使用精确率、召回率和 F1 分数进行评估。
• 采用主动学习方法，为未来模型适应与新物体类别的扩展提供支持。
• 应用迁移学习与模型蒸馏技术，在保持高精度的同时降低推理成本。

实验结果

研究问题

• RQ1 基于 YOLOv5 的轻量化实时目标检测模型能否有效识别视障用户常见的 35 种室内和室外物体？
• RQ2 该系统在真实环境下对人脸和货币面额的检测与识别准确率如何？
• RQ3 集成 GPS 和近距离感应技术在多大程度上提升了视障用户的导航能力与障碍物规避能力？
• RQ4 与完全微调的 YOLOv5 及基线 YOLO 变体相比，冻结主干网络的 YOLOv5 模型在准确率与效率方面表现如何？
• RQ5 通过骨传导技术提供的音频反馈，是否能在不遮蔽用户听觉环境的前提下增强其情境感知能力？

主要发现

• MagicEye 系统在测试数据集上的货币检测准确率达到 99.75%，F1 分数为 99.86%。
• 面部识别准确率达到 94.5%，F1 分数为 94.21%，召回率为 89.60%，在 LFW 基准测试中表现优异。
• 模型的精确率与召回率在 25 个训练周期内稳步提升，损失持续下降，性能趋于收敛。
• 混淆矩阵显示，所有 35 个物体类别均实现高分类准确率，误分类极少。
• 与 YOLOv3 及完全未冻结主干的 YOLOv5 相比，MagicEye 在相同基准测试中展现出更高的推理效率与准确率。
• 采用冻结主干网络显著减小了模型尺寸与计算成本，使边缘设备上的实时推理成为可能。