[论文解读] Computer vision tools for the non-invasive assessment of autism-related behavioral markers

Jordan Hashemi, Thiago V. Spina+5 more|arXiv (Cornell University)|Oct 25, 2012

Autism Spectrum Disorder Research参考文献 20被引用 17

一句话总结

本文提出基于计算机视觉的工具，通过视频分析自动检测婴儿和幼儿的自闭症相关行为标志，重点关注视觉注意力和步态不对称性。通过结合面部特征追踪与定制化形状模型的2D人体姿态估计，系统以高精度量化视觉注意力与手臂不对称性，为临床和研究环境中的自闭症早期筛查提供客观、非侵入性评估方案。

ABSTRACT

The early detection of developmental disorders is key to child outcome, allowing interventions to be initiated that promote development and improve prognosis. Research on autism spectrum disorder (ASD) suggests behavioral markers can be observed late in the first year of life. Many of these studies involved extensive frame-by-frame video observation and analysis of a child's natural behavior. Although non-intrusive, these methods are extremely time-intensive and require a high level of observer training; thus, they are impractical for clinical and large population research purposes. Diagnostic measures for ASD are available for infants but are only accurate when used by specialists experienced in early diagnosis. This work is a first milestone in a long-term multidisciplinary project that aims at helping clinicians and general practitioners accomplish this early detection/measurement task automatically. We focus on providing computer vision tools to measure and identify ASD behavioral markers based on components of the Autism Observation Scale for Infants (AOSI). In particular, we develop algorithms to measure three critical AOSI activities that assess visual attention. We augment these AOSI activities with an additional test that analyzes asymmetrical patterns in unsupported gait. The first set of algorithms involves assessing head motion by tracking facial features, while the gait analysis relies on joint foreground segmentation and 2D body pose estimation in video. We show results that provide insightful knowledge to augment the clinician's behavioral observations obtained from real in-clinic assessments.

研究动机与目标

• 开发自动化、非侵入性的计算机视觉工具，以支持在婴儿和幼儿中进行自闭症谱系障碍（ASD）的早期检测。
• 解决临床和大规模研究中耗时且依赖观察者的传统行为评估方法的局限性。
• 从《婴儿自闭症观察量表》（AOSI）中量化关键行为标志，特别是视觉注意力与步态不对称性。
• 使全科医生和临床医生能够仅通过视频数据进行客观、可重复的评估，而无需专业培训。
• 为通过自动化视频分析实现可扩展、数据驱动的新行为标志发现奠定基础。

提出的方法

• 系统通过在第一帧中使用单个交互式分割掩码构建的定制化形状模型（CSM）实现2D人体姿态估计。
• 结合前景分割与密集光流，用于追踪身体运动并在视频帧之间重新初始化姿态估计。
• 通过仿射变换对CSM模型进行形变，尊重人体的分层结构，从躯干开始。
• 基于全局和相对关节角度的绝对差值，使用归一化得分函数量化手臂不对称性，阈值设定为τ=45°和στ=τ/3。
• 整体手臂不对称性得分AS*定义为上臂与前臂不对称性得分的最大值，以确保对姿势与肢体运动差异的敏感性。
• 使用前臂的全局角度（f̂）评估方向性不对称性，绝对差值阈值为45°，用于检测非对称姿势。

实验结果

研究问题

• RQ1 计算机视觉技术能否准确且自动地通过视频数据测量婴儿的视觉注意力行为？
• RQ2 2D人体姿态估计与形状建模如何用于检测提示ASD的细微运动不对称性？
• RQ3 与人工观察相比，自动化分析步态与肢体运动在多大程度上可提升ASD的早期检测效果？
• RQ4 半自动系统能否减少临床环境中行为评估所需的时间与专业技能？
• RQ5 将基于AOSI的标志与新型步态分析相结合，能否提升早期ASD筛查的敏感性与特异性？

主要发现

• 该系统成功利用定制化形状模型与基于光流的重新初始化，在视频序列中实现对头部运动与身体姿态的稳定追踪。
• 手臂不对称性得分AS*能有效捕捉非对称姿势，其值接近1.0表示上臂或前臂位置存在高度不对称。
• 即使初始用户输入有限，该方法在分割与姿态估计方面仍表现出稳健性能，适用于临床环境的实际部署。
• 基于角度差值的归一化不对称性得分，可实现对不同姿势下肢体不对称性的稳定量化。
• 将基于AOSI的视觉注意力指标与步态不对称性分析相结合，构建了多模态、客观的早期ASD检测评估框架。
• 该方法实现了可扩展、可重复且非侵入性的行为评估，适用于大规模筛查与研究应用。