[论文解读] Design of a Mobile Face Recognition System for Visually Impaired Persons

Shonal Chaudhry, Rohitash Chandra|arXiv (Cornell University)|Feb 3, 2015

Tactile and Sensory InteractionsNeuroscience参考文献 57被引用 21

一句话总结

本文提出了一种面向视障用户的移动面部识别系统，利用基于Android的计算机视觉技术与OpenCV实现面部检测与识别，并集成Google TalkBack提供语音反馈。系统在光照充足条件下实现了93%的面部检测准确率和70%的识别准确率，采用客户端-服务器架构支持注册与身份管理，同时通过临时图像处理和加密存储优先保障隐私。

ABSTRACT

It is estimated that 285 million people globally are visually impaired. A majority of these people live in developing countries and are among the elderly population. One of the most difficult tasks faced by the visually impaired is identification of people. While naturally, voice recognition is a common method of identification, it is an intuitive and difficult process. The rise of computation capability of mobile devices gives motivation to develop applications that can assist visually impaired persons. With the availability of mobile devices, these people can be assisted by an additional method of identification through intelligent software based on computer vision techniques. In this paper, we present the design and implementation of a face detection and recognition system for the visually impaired through the use of mobile computing. This mobile system is assisted by a server-based support system. The system was tested on a custom video database. Experiment results show high face detection accuracy and promising face recognition accuracy in suitable conditions. The challenges of the system lie in better recognition techniques for difficult situations in terms of lighting and weather.

研究动机与目标

• 为解决视障人士在社交识别中面临的挑战，他们通常依赖不可靠或认知负担较重的方法，如语音识别。
• 开发一种便携式、基于移动设备的解决方案，利用计算机视觉技术辅助实现面部检测与识别，以改善社交互动。
• 通过与Android的TalkBack屏幕阅读器集成，确保系统对视障用户的可访问性与可用性。
• 通过临时存储面部图像并加密身份数据，保障隐私与安全。
• 在真实世界视频数据上，评估系统在准确率、内存使用和计算效率方面的性能。

提出的方法

• 系统使用移动设备的摄像头实时采集面部视频。
• 面部检测通过在OpenCV的C++模块中实现的级联分类器完成，该分类器基于自定义数据集进行训练。
• 在识别阶段，捕获检测到的面部的临时图像，并通过服务器辅助的识别流程进行处理。
• 应用程序集成Google TalkBack以提供语音反馈，实现免提且可访问的交互。
• 服务器端组件支持用户注册与身份查询，减少设备端计算负载。
• 面部图像仅临时存储，并在处理后删除；身份数据经过加密，以确保隐私。

实验结果

研究问题

• RQ1 在真实世界光照条件下，基于移动设备的面部识别系统能否实现对视障用户可接受的准确率？
• RQ2 基于OpenCV的面部检测与识别技术与Android的TalkBack集成，在可访问性方面效果如何？
• RQ3 在设备端计算机视觉应用中，内存、数据使用和电池消耗之间的性能权衡如何？
• RQ4 在移动设备上存储和处理生物特征面部数据时，如何保障隐私与数据安全？
• RQ5 光照条件在多大程度上影响系统的检测与识别准确率？

主要发现

• 在光照充足条件下，系统面部检测准确率达到93%，表明在受控环境中表现优异。
• 在光照充足条件下，面部识别准确率达到70%，表明在真实世界部署中具有中等但有前景的表现。
• 内存使用量较低，经设备端测试与监控确认，应用程序消耗的系统资源极少。
• 数据使用量也较低，表明系统在带宽消耗方面效率高，适合移动网络环境。
• 系统在光照不足条件下性能显著下降，凸显了检测鲁棒性的关键局限。
• 采用临时图像存储与加密身份管理机制，有效保护了用户隐私，减少了长期数据暴露风险。