[論文レビュー] Automated Systems For Diagnosis of Dysgraphia in Children: A Survey and Novel Framework

Jayakanth Kunhoth, Somaya Al-Máadeed+2 more|arXiv (Cornell University)|Jun 27, 2022

Writing and Handwriting Education被引用数 12

ひとこと要約

本論文は、子供における自己制御不能性のスクリーニングのための新規でマルチセンサフレームワークを提案する。このフレームワークは、力センシティブリジスター（FSR）を用いた鉛筆の持ち方分析と、筋電図（sEMG）を用いた筋活動モニタリングにより運動性不順作図の検出を可能にするとともに、スマートフォンベースの画像分析法により空間的不順作図の検出を実現する。動的作図特徴と機械学習を統合することで、従来のAIベースのツールに比べ、診断の正確性が向上する。

ABSTRACT

Learning disabilities, which primarily interfere with the basic learning skills such as reading, writing and math, are known to affect around 10% of children in the world. The poor motor skills and motor coordination as part of the neurodevelopmental disorder can become a causative factor for the difficulty in learning to write (dysgraphia), hindering the academic track of an individual. The signs and symptoms of dysgraphia include but are not limited to irregular handwriting, improper handling of writing medium, slow or labored writing, unusual hand position, etc. The widely accepted assessment criterion for all the types of learning disabilities is the examination performed by medical experts. The few available artificial intelligence-powered screening systems for dysgraphia relies on the distinctive features of handwriting from the corresponding images.This work presents a review of the existing automated dysgraphia diagnosis systems for children in the literature. The main focus of the work is to review artificial intelligence-based systems for dysgraphia diagnosis in children. This work discusses the data collection method, important handwriting features, machine learning algorithms employed in the literature for the diagnosis of dysgraphia. Apart from that, this article discusses some of the non-artificial intelligence-based automated systems also. Furthermore, this article discusses the drawbacks of existing systems and proposes a novel framework for dysgraphia diagnosis.

研究の動機と目的

• 不順作図の標準化、スケーラブルで早期の診断ツールの欠如に応えること。これは、しばしば介入の遅延を引き起こす。
• 既存のAIベースおよび非AI自動化システムの不順作図診断に関するレビューと批判的分析を行い、データ収集、特徴抽出、モデル性能における主な制限要因を同定すること。
• 動的作図センシング（FSRおよびsEMG）と画像ベース分析を統合した、包括的で自動化された不順作図スクリーニングのための新規で統合的フレームワークを提案すること。
• ウェアラブルセンサーやモバイルテクノロジーを活用することで、診断の正確性とアクセス性を向上させ、人的専門家による評価に依存するのを減らすこと。
• 提案されたフレームワーク内での継続的モニタリングと治療追跡機能により、早期発見と個別化された介入計画の立案を可能にすること。

提案手法

• 鉛筆に取り付けた力センシティブリジスター（FSR）を用いて、作図中のリアルタイムの握力パターンを記録し、運動性不順作図の兆候を特定する。
• 手に表面筋電図（sEMG）センサーを装着し、作図中の筋活動を記録し、神経筋協調性の分析により運動性不順作図の検出を行う。
• FSRおよびsEMGデータをフィルタリングおよびセグメンテーション処理することで、運動制御および力のばらつきに関連する意味のある時間的特徴を抽出する。
• SVMやランダムフォレストなどの既存の機械学習モデルを用い、抽出された特徴を基に、不順作図と通常の作図パターンの二値分類を実施する。
• スマートフォンのカメラを用いて手書きのサンプルを撮影し、線分離・単語分離や文書解析などの画像処理技術を適用して、空間的不順作図の特徴（例：不規則な間隔、ずれた線）を検出する。
• センサーベースおよび画像ベースの手法を統合し、多様なタイプの不順作図スクリーニングを可能にする統一フレームワークを構築することで、包括的かつスケーラブルな評価を実現する。

実験結果

リサーチクエスチョン

• RQ1 既存のAIベースおよび非AI自動化システムにおける子供の不順作図診断の主な制限要因は何か？
• RQ2 握力や筋活動といった動的作図特徴を効果的に捉え、運動性不順作図の早期発見にどのように活用できるか？
• RQ3 スマートフォンカメラを用いた画像ベース分析は、不規則な間隔や不規則な線の整列といった空間的不順作図の特徴をどの程度効果的に検出できるか？
• RQ4 FSR、sEMG、カメラといった複数のセンシングモダリティを統合する統一フレームワークは、診断の正確性と臨床的有用性をどの程度向上させられるか？
• RQ5 提案されたフレームワークは、治療効果の縦断的追跡と個別化された介入計画の立案を支援できるか？

主な発見

• 本研究では、既存の自動化システムが不順作図診断において、しばしば静的画像分析に依存しており、正確な診断に不可欠な動的運動および神経筋の兆候を欠いていることが明らかになった。
• FSRを用いた握力分析では、運動性不順作図を示す子供において握力のばらつきが顕著に高く、熟練度の低い作図者で一貫性が低いことが示された。
• 作図中のsEMG信号は、運動性不順作図を示す子供において異常な筋活動パターンを示しており、神経筋活動をバイオマーカーとして用いることが有効であることを裏付けた。
• スマートフォンカメラを用いた画像ベース分析は、不規則な単語間隔、ずれた書字、不規則な行高さといった空間的不順作図の特徴を効果的に検出できることが分かった。
• FSR、sEMG、および画像データという複数のデータモダリティを統合した本研究のフレームワークは、単一モダリティのシステムに比べ、より包括的な評価が可能であるため、診断の可能性が向上した。
• フレームワーク内に治療追跡および介入モニタリング機能を統合することで、治療効果の縦断的評価が可能となり、個別化されたケアパスウェイの支援が可能になった。