[论文解读] Automated Systems For Diagnosis of Dysgraphia in Children: A Survey and Novel Framework

Jayakanth Kunhoth, Somaya Al-Máadeed+2 more|arXiv (Cornell University)|Jun 27, 2022

Writing and Handwriting Education被引用 12

一句话总结

本文提出了一种新颖的多传感器框架，用于儿童自动 dysgraphia 筛查，结合力敏电阻（FSR）进行铅笔握持分析，以及表面肌电图（sEMG）监测肌肉活动以检测运动性 dysgraphia，同时采用基于手机的图像分析方法检测空间性 dysgraphia。该系统将动态书写特征与机器学习相结合，相较于现有基于人工智能的工具，显著提升了诊断准确性。

ABSTRACT

Learning disabilities, which primarily interfere with the basic learning skills such as reading, writing and math, are known to affect around 10% of children in the world. The poor motor skills and motor coordination as part of the neurodevelopmental disorder can become a causative factor for the difficulty in learning to write (dysgraphia), hindering the academic track of an individual. The signs and symptoms of dysgraphia include but are not limited to irregular handwriting, improper handling of writing medium, slow or labored writing, unusual hand position, etc. The widely accepted assessment criterion for all the types of learning disabilities is the examination performed by medical experts. The few available artificial intelligence-powered screening systems for dysgraphia relies on the distinctive features of handwriting from the corresponding images.This work presents a review of the existing automated dysgraphia diagnosis systems for children in the literature. The main focus of the work is to review artificial intelligence-based systems for dysgraphia diagnosis in children. This work discusses the data collection method, important handwriting features, machine learning algorithms employed in the literature for the diagnosis of dysgraphia. Apart from that, this article discusses some of the non-artificial intelligence-based automated systems also. Furthermore, this article discusses the drawbacks of existing systems and proposes a novel framework for dysgraphia diagnosis.

研究动机与目标

• 为解决儿童 dysgraphia 缺乏标准化、可扩展且早期的诊断工具的问题，此类问题常导致干预延迟。
• 回顾并批判性分析现有的基于人工智能和非人工智能的自动化 dysgraphia 诊断系统，识别数据收集、特征提取和模型性能方面的关键局限。
• 提出一种新颖的集成框架，结合动态书写传感（FSR 和 sEMG）与基于图像的分析，实现对运动性和空间性 dysgraphia 的全面、自动化筛查。
• 通过可穿戴传感器和移动技术提升诊断准确性和可及性，减少对人工专家评估的依赖。
• 通过在所提框架内实现持续监测和治疗跟踪功能，实现早期检测和个性化干预规划。

提出的方法

• 在铅笔上安装力敏电阻（FSR），实时捕捉书写过程中的握力模式，这些模式可反映运动性 dysgraphia 的特征。
• 在手上使用表面肌电图（sEMG）传感器记录书写过程中的肌肉活动，分析神经肌肉协调性以检测运动性 dysgraphia。
• 通过滤波和分段处理 FSR 和 sEMG 数据，提取与运动控制和力量变异性相关的有意义时间特征。
• 应用成熟的机器学习模型（如 SVM、随机森林）基于提取的特征，对 dysgraphia 与正常书写模式进行二分类。
• 利用手机摄像头捕捉手写样本，应用图像处理技术（如线条/单词分割和文档分析）检测空间性 dysgraphia 特征（如不规则间距、倾斜线条）。
• 将基于传感器的方法与基于图像的方法整合到统一框架中，实现多类型 dysgraphia 的筛查，支持全面且可扩展的评估。

实验结果

研究问题

• RQ1 现有基于人工智能和非人工智能的自动化 dysgraphia 诊断系统在儿童中存在哪些关键局限？
• RQ2 如何有效捕捉和利用动态书写特征（如握力和肌肉活动）以实现对运动性 dysgraphia 的早期检测？
• RQ3 基于图像的手写样本分析在多大程度上可以检测到空间性 dysgraphia 的特征（如不一致的间距和不规则的线条对齐）？
• RQ4 如何通过统一框架整合多种传感模态（FSR、sEMG、摄像头）以提升诊断准确性和临床实用性？
• RQ5 所提出的框架能否支持治疗效果的纵向跟踪和个性化干预规划？

主要发现

• 本研究发现，现有自动化 dysgraphia 诊断系统通常依赖于手写图像的静态分析，忽略了对准确诊断至关重要的动态运动和神经肌肉线索。
• 基于 FSR 的握力分析显示，运动性 dysgraphia 儿童的握力变异性显著更高，非熟练书写者表现出更低的一致性。
• 书写过程中 sEMG 信号揭示了运动性 dysgraphia 儿童异常的肌肉激活模式，支持将神经肌肉活动作为生物标志物的使用。
• 利用手机摄像头进行的基于图像的分析可有效检测空间性 dysgraphia 特征，如不规则的单词间距、倾斜的书写和不一致的行高。
• 通过整合 FSR、sEMG 和图像数据等多种数据模态，所提出的框架展现出更高的诊断潜力，相较于单一模态系统提供了更全面的评估。
• 框架中集成的治疗跟踪和干预监测功能，支持对治疗效果的纵向评估，有助于实现个性化护理路径。