[论文解读] A Survey of Mobile Computing for the Visually Impaired

Martin Weiß, Margaux Luck+3 more|arXiv (Cornell University)|Nov 25, 2018

Tactile and Sensory Interactions参考文献 24被引用 4

一句话总结

本综述探讨了面向视障人士的基于机器学习的移动应用，评估其在目标检测、OCR、图像字幕生成和微导航方面的功能表现。文章倡导通过模型压缩和联邦学习实现设备端处理，以提升隐私保护、降低延迟并改善可及性，同时指出了移动感知、微导航和内容摘要方面的关键研究方向。

ABSTRACT

The number of visually impaired or blind (VIB) people in the world is estimated at several hundred million. Based on a series of interviews with the VIB and developers of assistive technology, this paper provides a survey of machine-learning based mobile applications and identifies the most relevant applications. We discuss the functionality of these apps, how they align with the needs and requirements of the VIB users, and how they can be improved with techniques such as federated learning and model compression. As a result of this study we identify promising future directions of research in mobile perception, micro-navigation, and content-summarization.

研究动机与目标

• 分析当前面向视障或盲人（VIB）用户移动辅助技术的现状。
• 评估现有移动应用在多大程度上满足VIB人群的功能和可用性需求。
• 识别当前系统在内容摘要、微导航和上下文理解方面的关键缺陷。
• 倡导采用模型压缩和联邦学习实现设备端机器学习，以提升隐私保护、降低延迟并增强自主性。
• 概述面向VIB用户在移动感知、微导航和智能内容摘要方面的未来研究方向。

提出的方法

• 通过访谈视障用户和辅助技术开发者，识别实际需求与挑战。
• 调查现有移动应用在目标检测、OCR、图像字幕生成和场景理解方面的表现，涵盖设备端与服务器端模型。
• 评估模型压缩技术，包括剪枝、量化、哈夫曼编码和知识蒸馏，以减小模型尺寸并降低能耗。
• 探索联邦学习作为保护隐私的协作模型优化方法，无需共享原始用户数据。
• 分析现有数据集（如MS COCO）在VIB特定需求方面的局限性，并强调社区驱动数据集（如VizWiz）的价值。
• 提出将文本提取、颜色检测和目标识别等任务集成到设备端处理，以减少对云服务的依赖。

实验结果

研究问题

• RQ1 当前面向视障人士的移动应用在真实场景任务（如目标检测、OCR和图像字幕生成）中的表现如何？
• RQ2 现有辅助技术在准确性、延迟、隐私和用户体验方面存在哪些主要局限？
• RQ3 模型压缩和知识蒸馏如何使高精度AI模型在移动设备上高效运行？
• RQ4 联邦学习在保护数据隐私的前提下，如何提升VIB用户的模型性能？
• RQ5 在辅助技术领域，面向移动感知、微导航和内容摘要的未来最有前景的研究方向是什么？

主要发现

• 设备端模型（如BlindTool和SeeingAI）表现出更低的延迟和更好的隐私保护，但受限于模型大小和类别泛化能力。
• 基于服务器的字幕生成应用（如SeeingAI）尽管准确率较高，但响应速度慢且交互模式不理想。
• 剪枝、量化和知识蒸馏等模型压缩技术显著减小了模型尺寸并降低了能耗，同时保持了较高的准确性。
• 联邦学习可在不暴露用户私密图像的前提下实现跨用户协作模型优化，特别适合VIB群体。
• 现有数据集（如MS COCO）无法充分满足VIB需求，因其缺乏实现有效导航和任务完成所必需的详细、上下文丰富的描述。
• 目前缺乏整合OCR与文本摘要功能的集成应用，用于处理实体文档，这是当前辅助技术中的一个重大空白。