[论文解读] Automatic Health Problem Detection from Gait Videos Using Deep Neural Networks

Rahil Mehrizi, Xi Peng+3 more|arXiv (Cornell University)|Jun 4, 2019

Gait Recognition and Analysis参考文献 37被引用 9

一句话总结

本文提出了一种深度学习系统，仅通过消费级摄像头分析从视频中提取的3D身体姿态序列，以检测与步态相关的健康问题，如帕金森病、中风后遗症和骨科问题。该方法实现了56–96%的分类准确率，并表现出极低的假阳性（1/25）和假阴性（1/70）率，实现了无需专业设备或人工特征工程的实用家庭步态监测。

ABSTRACT

The aim of this study is developing an automatic system for detection of gait-related health problems using Deep Neural Networks (DNNs). The proposed system takes a video of patients as the input and estimates their 3D body pose using a DNN based method. Our code is publicly available at https://github.com/rmehrizi/multi-view-pose-estimation. The resulting 3D body pose time series are then analyzed in a classifier, which classifies input gait videos into four different groups including Healthy, with Parkinsons disease, Post Stroke patient, and with orthopedic problems. The proposed system removes the requirement of complex and heavy equipment and large laboratory space, and makes the system practical for home use. Moreover, it does not need domain knowledge for feature engineering since it is capable of extracting semantic and high level features from the input data. The experimental results showed the classification accuracy of 56% to 96% for different groups. Furthermore, only 1 out of 25 healthy subjects were misclassified (False positive), and only 1 out of 70 patients were classified as a healthy subject (False negative). This study presents a starting point toward a powerful tool for automatic classification of gait disorders and can be used as a basis for future applications of Deep Learning in clinical gait analysis. Since the system uses digital cameras as the only required equipment, it can be employed in domestic environment of patients and elderly people for consistent gait monitoring and early detection of gait alterations.

研究动机与目标

• 开发一种仅使用视频输入的自动化、低成本系统，用于检测与步态相关的健康问题。
• 通过利用消费级摄像头，消除对昂贵设备或临床实验室环境的依赖。
• 通过使深度神经网络能够直接从视频数据中学习高级语义特征，避免人工特征工程。
• 实现在家庭环境中对老年人或高危个体进行持续的步态监测，以实现步态恶化情况的早期发现。
• 为深度学习在临床步态分析中的实际部署提供基础。

提出的方法

• 该系统使用深度神经网络处理步态视频，随时间推移估计3D身体姿态，生成关节位置的时间序列。
• 生成的3D姿态时间序列被输入分类器，以区分四种类别：健康、帕金森病、中风后遗症和骨科问题。
• 该方法依赖端到端学习，通过允许网络从原始视频中提取相关语义表示，避免了特定领域的特征工程。
• 该方法仅使用标准数码摄像头作为输入，适用于家庭或社区环境中的部署。
• 系统在带有临床标注的步态视频数据集上进行训练和评估，采用基于深度神经网络的姿势估计流程。
• 最终的分类模型经过训练以最小化误分类，对健康人群和患者群体均表现出优异性能。

实验结果

研究问题

• RQ1 仅使用消费级摄像头的视频数据，深度学习系统能否准确分类步态障碍？
• RQ2 端到端深度神经网络在多大程度上可以替代步态分析中的手工特征工程？
• RQ3 该系统在真实世界步态监测场景中，对假阳性和假阴性的控制效果如何？
• RQ4 所提出的方法能否在家庭环境中实现一致且长期的步态监测？
• RQ5 在不使用专用硬件的情况下，该方法在多种步态障碍中的分类准确率能达到何种水平？

主要发现

• 该系统在四种类别健康状况中的分类准确率范围为56%至96%，在帕金森病和骨科问题上的表现最佳。
• 在25名健康受试者中仅有1人被错误分类为患有步态障碍，表明假阳性率极低。
• 在70名患者中仅有1人被错误分类为健康，表明假阴性率较低。
• 该方法成功消除了对专用设备或实验室基础设施的需求，实现了家庭环境中的部署。
• 该系统在无需专家定义特征的情况下，表现出对细微步态异常的稳健检测能力。
• 结果表明，该方法在临床和老年护理环境中具备实现可扩展、自动化步态监测的强潜力。