[论文解读] One-shot action recognition towards novel assistive therapies.

Alberto Sabater, Laura Santos+4 more|arXiv (Cornell University)|Feb 17, 2021

Human Pose and Action Recognition参考文献 13被引用 5

一句话总结

本文提出一种基于时序卷积网络（TCN）的一次性动作识别方法，用于对运动数据进行标准化和表征，以实现自动化治疗视频分析，在NTU-120基准上达到最先进性能，并在支持自闭症患者治疗方面展现出强大的实际应用潜力。

ABSTRACT

One-shot action recognition is a challenging problem, especially when the target video can contain one, more or none repetitions of the target action. Solutions to this problem can be used in many real world applications that require automated processing of activity videos. In particular, this work is motivated by the automated analysis of medical therapies that involve action imitation games. The presented approach incorporates a pre-processing step that standardizes heterogeneous motion data conditions and generates descriptive movement representations with a Temporal Convolutional Network for a final one-shot (or few-shot) action recognition. Our method achieves state-of-the-art results on the public NTU-120 one-shot action recognition challenge. Besides, we evaluate the approach on a real use-case of automated video analysis for therapy support with autistic people. The promising results prove its suitability for this kind of application in the wild, providing both quantitative and qualitative measures, essential for the patient evaluation and monitoring.

研究动机与目标

• 解决异质性运动数据中一次性动作识别的挑战，特别是在医疗治疗视频分析中的应用。
• 开发一种稳健的方法，能够在目标视频中识别出一个或多个重复动作，或无重复动作。
• 实现辅助治疗的自动化视频分析，特别是针对自闭症患者参与的动作模仿游戏。
• 提供对临床监测和患者评估至关重要的定量与定性评估指标。

提出的方法

• 预处理流程对异质性运动数据进行标准化，以减少不同录制条件带来的变异性。
• 使用时序卷积网络（TCN）从标准化数据中生成描述性强、高层次的运动表征。
• 模型训练用于一次性或少样本动作识别，从而实现仅用极少标注样本即可识别新动作。
• 该方法利用时间建模捕捉动作序列中的长程依赖关系，提升识别鲁棒性。
• 在公开的NTU-120一次性动作识别基准和一个真实世界治疗应用中对框架进行评估。
• 评估包括定量指标和定性分析，以支持临床可用性。

实验结果

研究问题

• RQ1 一次性动作识别模型是否能有效处理目标动作无重复、仅一次重复或多重复的视频？
• RQ2 所提出方法在运动质量与录制条件多变的真实治疗视频中泛化能力如何？
• RQ3 运动标准化与基于TCN的表征学习在低样本设置下对识别准确率的提升程度如何？
• RQ4 该方法能否为自闭症治疗中的患者监测提供可靠且具有临床意义的评估指标？

主要发现

• 所提方法在公开的NTU-120一次性动作识别基准上达到最先进性能。
• 模型在真实世界治疗视频中表现出强泛化能力，显示出临床部署的适用性。
• 定量结果证实，即使每类动作仅有一个样本，识别准确率仍保持较高水平。
• 定性分析揭示了有意义且可解释的运动表征，对患者评估具有实用价值。
• 该方法能有效处理运动数据中的各种变化，包括目标动作的多次重复或缺失重复。
• 运动标准化与基于TCN的特征学习的结合显著提升了模型的鲁棒性与性能。