[论文解读] Activity Recognition for Autism Diagnosis.

Anish Lakkapragada, Peter Washington+1 more|arXiv (Cornell University)|Aug 18, 2021

Autism Spectrum Disorder Research参考文献 39被引用 4

一句话总结

本文提出一种轻量级LSTM模型，利用时间性手部关键点检测从视频中识别与自闭症相关的拍打手部行为——一种关键的自闭症相关自伤行为——在SSBD数据集上达到72%的验证准确率和F1分数，并在外部视频上实现良好泛化，参数量低于26,000，具备在可穿戴设备或远程诊断系统中部署的潜力。

ABSTRACT

A formal autism diagnosis is an inefficient and lengthy process. Families often have to wait years before receiving a diagnosis for their child; some may not receive one at all due to this delay. One approach to this problem is to use digital technologies to detect the presence of behaviors related to autism, which in aggregate may lead to remote and automated diagnostics. One of the strongest indicators of autism is stimming, which is a set of repetitive, self-stimulatory behaviors such as hand flapping, headbanging, and spinning. Using computer vision to detect hand flapping is especially difficult due to the sparsity of public training data in this space and excessive shakiness and motion in such data. Our work demonstrates a novel method that overcomes these issues: we use hand landmark detection over time as a feature representation which is then fed into a Long Short-Term Memory (LSTM) model. We achieve a validation accuracy and F1 Score of about 72% on detecting whether videos from the Self-Stimulatory Behaviour Dataset (SSBD) contain hand flapping or not. Our best model also predicts accurately on external videos we recorded of ourselves outside of the dataset it was trained on. This model uses less than 26,000 parameters, providing promise for fast deployment into ubiquitous and wearable digital settings for a remote autism diagnosis.

研究动机与目标

• 为解决正式自闭症诊断过程冗长低效、常导致延迟或漏诊的问题。
• 开发一种基于数字技术的远程自动化诊断工具，用于检测自闭症的行为标志，特别是自伤行为。
• 克服在使用计算机视觉检测拍打手部行为时，公开训练数据稀疏和视频运动高度多变的挑战。
• 构建一种计算效率高的模型，适用于在普适计算或可穿戴设备中实时部署，实现持续监测。

提出的方法

• 该方法通过时间序列上的2D手部关键点检测，从视频序列中提取时序特征，捕捉与拍打手部行为相关的运动模式。
• 将这些时序手部关键点序列输入长短期记忆（LSTM）循环神经网络，以建模序列行为模式。
• 模型在Self-Stimulatory Behaviour Dataset（SSBD）数据集上进行端到端训练，以分类视频是否包含拍打手部行为。
• 通过参数压缩优化模型效率，最终参数量低于26,000，适用于边缘设备的快速推理。
• 该方法利用时序建模，有效应对真实世界自伤行为视频数据中常见的稀疏性和运动不稳定性问题。
• 在SSBD外部录制的视频上评估泛化能力，证明模型在训练分布之外仍具备鲁棒性。

实验结果

研究问题

• RQ1 在低数据环境下，时序手部关键点序列能否有效表征拍打手部行为以实现分类？
• RQ2 基于SSBD训练的LSTM模型在外部、未见的拍打手部行为视频数据上泛化能力如何？
• RQ3 参数量低于26,000的轻量级模型在实时、可穿戴自闭症筛查任务中能否达到可接受的性能？
• RQ4 计算机视觉技术能否有效应对检测自闭症相关自伤行为时面临的数据稀缺与运动噪声挑战？

主要发现

• 所提出的模型在Self-Stimulatory Behaviour Dataset（SSBD）上对拍打手部行为检测的验证准确率达到约72%。
• 该模型在同一数据集上获得约72%的F1分数，表明二分类任务中精确率与召回率保持良好平衡。
• 模型在未包含于训练集的外部视频上表现出有效泛化能力，证明其对分布偏移具有鲁棒性。
• 最终模型参数量少于26,000，适用于资源受限的可穿戴或移动设备部署。
• 通过LSTM实现的时序建模，尽管存在高运动可变性和数据稀疏性，仍能有效捕捉拍打手部行为的动态特性。
• 时间序列上的手部关键点检测可作为识别自闭症相关重复性行为的可靠且高效的特征表示。