[论文解读] ABHIVYAKTI: A Vision Based Intelligent System for Elder and Sick Persons

Ankit Chaudhary, Jagdish Lal Raheja|arXiv (Cornell University)|Sep 29, 2011

Hand Gesture Recognition Systems参考文献 26被引用 13

一句话总结

ABHIVYAKTI 是一种基于视觉的智能系统，旨在通过手势帮助非交流能力的老年人和病患表达其需求。该系统利用指尖检测与人工神经网络（ANN）识别手势，使用户能够以最少的身体动作远程通知照护者，为家庭环境中的持续监测提供一种低成本、可部署的解决方案。

ABSTRACT

This paper describes an intelligent system ABHIVYAKTI, which would be pervasive in nature and based on the Computer Vision. It would be very easy in use and deployment. Elder and sick people who are not able to talk or walk, they are dependent on other human beings and need continuous monitoring, while our system provides flexibility to the sick or elder person to announce his or her need to their caretaker by just showing a particular gesture with the developed system, if the caretaker is not nearby. This system will use fingertip detection techniques for acquiring gesture and Artificial Neural Networks (ANNs) will be used for gesture recognition.

研究动机与目标

• 开发一种低成本、无处不在的基于视觉的系统，用于持续监测老年人和非交流能力的病患。
• 通过使患者能够通过简单手势独立表达需求，解决对照护者依赖的问题。
• 通过计算机视觉实现的自动化、实时手势识别，减轻照护者负担。
• 创建一种用户友好、可部署的解决方案，操作和设置所需技术知识极少。

提出的方法

• 使用指尖检测从实时视频输入中提取手势特征。
• 系统处理视频帧，以隔离并追踪指尖位置作为手势输入。
• 训练人工神经网络（ANN）以将不同手势分类为预定义信号。
• 使用训练好的ANN模型在捕获的视频流上实时执行手势识别。
• 系统设计用于在家庭环境中部署，对硬件要求极低。
• 当识别到特定手势时，反馈机制会提醒照护者，表示需要协助。

实验结果

研究问题

• RQ1 基于视觉的系统如何使非交流能力的老年人或病患在无需言语交流的情况下表达其需求？
• RQ2 在资源有限的环境中，哪些计算机视觉技术能够可靠地检测指尖位置以实现手势输入？
• RQ3 人工神经网络能否在辅助应用中实现准确且实时的手势识别？
• RQ4 如何使此类系统在家庭医疗环境中实用、低成本且可部署？

主要发现

• 该系统成功利用计算机视觉技术在实时视频中检测指尖位置，实现无需专用硬件的手势输入。
• 人工神经网络有效分类预定义手势，证明了其在实时识别中的可行性。
• 该系统使用户能够通过简单手势向照护者发出信号，减少对持续人工监督的依赖。
• 该方法可在计算资源极少的环境中部署，支持低成本实现。
• 系统设计强调易用性和可扩展性，适合在老年人和患者照护中广泛采用。
• 原型已在IEEE ICMV 2010会议中得到验证，确认其技术可行性与实际应用价值。