[論文レビュー] The Dynamics of Handwriting Improves the Automated Diagnosis of Dysgraphia

Konard Zolna, Thibault Asselborn+5 more|arXiv (Cornell University)|Jun 12, 2019

Writing and Handwriting Education参考文献 48被引用数 12

ひとこと要約

本研究では、スクリーン上での筆圧、速度、順序などの動的特徴を分析することで、子供のディスグラフィーを自動で検出する、タブレットベースのRNN駆動型デジタル診断システムを提案する。このモデルは、静的画像ベースの手法よりも顕著に優れた90％の正確性を達成し、従来のBHKテストに比べて迅速で客観的かつスケーラブルな代替手段を提供する。

ABSTRACT

Handwriting disorder (termed dysgraphia) is a far from a singular problem as nearly 8.6% of the population in France is considered dysgraphic. Moreover, research highlights the fundamental importance to detect and remediate these handwriting difficulties as soon as possible as they may affect a child's entire life, undermining performance and self-confidence in a wide variety of school activities. At the moment, the detection of handwriting difficulties is performed through a standard test called BHK. This detection, performed by therapists, is laborious because of its high cost and subjectivity. We present a digital approach to identify and characterize handwriting difficulties via a Recurrent Neural Network model (RNN). The child under investigation is asked to write on a graphics tablet all the letters of the alphabet as well as the ten digits. Once complete, the RNN delivers a diagnosis in a few milliseconds and demonstrates remarkable efficiency as it correctly identifies more than 90% of children diagnosed as dysgraphic using the BHK test. The main advantage of our tablet-based system is that it captures the dynamic features of writing -- something a human expert, such as a teacher, is unable to do. We show that incorporating the dynamic information available by the use of tablet is highly beneficial to our digital test to discriminate between typically-developing and dysgraphic children.

研究の動機と目的

• 主観的な人間評価に依存しない、客観的で自動化されたディスグラフィー診断法の開発。
• グラフィックタブレットで記録された筆跡の動的運動特徴（キネマティクス）を活用し、静的視覚的評価を超える診断正確性の向上。
• 早期に筆記困難を発見できる、スケーラブルで低コストのデジタルソリューションの構築。
• 同じ筆跡データを用いて、動的（RNN）と静的（CNN）モデルの性能を比較すること。
• このようなシステムが、ロボット支援学習を介したパーソナライズドの筆記チューティングなどの教育的応用にどう活かせるかの探求。

提案手法

• 子供たちはWacomグラフィックタブレット上でアルファベットのすべての文字と数字0–9を書いた。タブレットはx座標、y座標、時間、圧力、ペンの傾きを記録した。
• システムは、筆跡の順序データを処理するための再帰的ニューラルネットワーク（RNN）を用い、スティル速度や軌道の時間的ダイナミクスを捉えた。
• ベースラインとして、最終的な静的画像のみを分析する畳み込みニューラルネットワーク（CNN）が使用された。
• RNNモデルは、筆跡の動的特徴に基づいて、子供を通常発達（TD）またはディスグラフィーと分類するように学習された。
• 標準的な指標（感度、特異度など）を用いて性能を評価し、RNNとCNNの結果を比較した。
• 今後、圧力と傾きデータの統合を検討したが、現在のモデルではx、y、時間座標のみを用いた。

実験結果

リサーチクエスチョン

• RQ1 筆跡の運動特徴（キネマティクス）を用いた動的でデータ駆動型のアプローチは、静的画像ベースの手法と比較して、ディスグラフィーの自動診断をどのように改善できるか？
• RQ2 時間的ダイナミクス（例：速度、筆順）の組み込みが、通常発達とディスグラフィーの子供を区別する能力をどの程度向上させるか？
• RQ3 同じ筆跡データを用いて、RNNベースのモデルがCNNベースのモデルをどの程度上回るか？
• RQ4 タブレットベースのデジタルシステムは、従来のBHKテストに伴う時間的負担と主観性をどの程度軽減できるか？
• RQ5 このようなシステムが、パーソナライズドラーニングやロボット支援チューティングなどの教育的文脈に与える影響は何か？

主な発見

• RNNモデルは、ディスグラフィーの子供を90％の正確性で正しく特定したが、CNNモデルは30％未満の正答率にとどまった。
• 時間分解能のあるx、y、時間座標で記録された筆跡の動的特徴が、区別に不可欠であり、静的画像分析だけでは不十分であった。
• タブレットベースのシステムは数ミリ秒で診断を完了し、BHKテストの10分間の手動スコアリングに比べて迅速でスケーラブルな代替手段を提供した。
• 研究では、人間の専門家が筆跡の重要な動的特徴（不規則な筆順、不安定な圧力）を逃していることが明らかになったが、RNNモデルはこれらを的確に捉えた。
• このシステムの性能は、デジタル診断が診断の遅延と主観性を軽減し、早期介入を可能にできることを示唆している。
• 今後の研究では、ペンの圧力と傾きデータの統合を検討し、低価格のタッチデバイスを含むさまざまなタブレット機器で結果が一般化するかを評価すべきである。