[논문 리뷰] The Dynamics of Handwriting Improves the Automated Diagnosis of Dysgraphia

Konard Zolna, Thibault Asselborn외 5명|arXiv (Cornell University)|2019. 06. 12.

Writing and Handwriting Education참고 문헌 48인용 수 12

한 줄 요약

이 연구는 글씨의 운동적 특성—예를 들어 획 순서, 속도, 압력—을 분석하여 어린이의 난독증을 자동으로 진단하는 태블릿 기반 RNN 기반 디지털 진단 시스템을 제안한다. 이 모델은 난독증 어린이를 식별하는 데 90%의 정확도를 달성하여 정적 이미지 기반 방법보다 뚜렷이 뛰어나며, 전통적인 BHK 검사에 비해 빠르고 객관적이며 확장 가능한 대안을 제공한다.

ABSTRACT

Handwriting disorder (termed dysgraphia) is a far from a singular problem as nearly 8.6% of the population in France is considered dysgraphic. Moreover, research highlights the fundamental importance to detect and remediate these handwriting difficulties as soon as possible as they may affect a child's entire life, undermining performance and self-confidence in a wide variety of school activities. At the moment, the detection of handwriting difficulties is performed through a standard test called BHK. This detection, performed by therapists, is laborious because of its high cost and subjectivity. We present a digital approach to identify and characterize handwriting difficulties via a Recurrent Neural Network model (RNN). The child under investigation is asked to write on a graphics tablet all the letters of the alphabet as well as the ten digits. Once complete, the RNN delivers a diagnosis in a few milliseconds and demonstrates remarkable efficiency as it correctly identifies more than 90% of children diagnosed as dysgraphic using the BHK test. The main advantage of our tablet-based system is that it captures the dynamic features of writing -- something a human expert, such as a teacher, is unable to do. We show that incorporating the dynamic information available by the use of tablet is highly beneficial to our digital test to discriminate between typically-developing and dysgraphic children.

연구 동기 및 목표

• 주관적인 인간 평가에 의존하는 것을 줄이기 위해 객관적이고 자동화된 난독증 진단 방법을 개발하는 것.
• 그래픽 태블릿을 통해 캡처한 글쓰기의 동적 운동적 특성—예를 들어 속도, 궤적—을 활용하여 정적 시각적 평가를 넘어서 진단 정확도를 향상시키는 것.
• 조기 진단이 가능한 저비용, 확장 가능한 디지털 솔루션을 만드는 것.
• 동적(RNN) 모델과 정적(CNN) 모델의 성능을 비교하여 일반 발달 어린이와 난독증 어린이를 구분하는 데에 어떤 영향을 미치는지 파악하는 것.
• 이러한 시스템이 개인 맞춤형 글쓰기 트레이닝이나 로봇 보조 학습과 같은 교육적 응용 분야에서 어떻게 활용될 수 있는지 탐색하는 것.

제안 방법

• 어린이들은 Wacom 그래픽 태블릿을 사용해 알파벳의 모든 문자와 숫자 0–9를 써내려갔으며, 이 과정에서 x, y, 시간, 압력, 펜 기울기 데이터가 기록되었다.
• 시스템은 순차적 글쓰기 데이터를 처리하기 위해 순환 신경망(RNN)을 사용하여 획 속도 및 궤적과 같은 시간적 동역학을 포착했다.
• 기준선으로서 컨볼루션 신경망(CNN)을 사용하여 쓰인 글자 궤적의 최종 정적 이미지만 분석했다.
• RNN 모델은 어린이의 글쓰기 동적 특성에 기반해 일반 발달(정상) 또는 난독증으로 분류하도록 훈련되었다.
• 표준 평가 지표—민감도 및 특이도—를 사용하여 RNN 및 CNN 성능을 평가하고 비교했다.
• 압력 및 기울기 데이터의 향후 통합을 고려하였지만, 현재 모델은 x, y, 시간 좌표만 사용했다.

실험 결과

연구 질문

• RQ1 글쓰기 운동학적 특성을 활용한 동적 데이터 기반 접근 방식이 정적 이미지 기반 방법에 비해 자동 난독증 진단을 향상시킬 수 있는가?
• RQ2 시간적 동역학(예: 속도, 획 순서)의 포함이 일반 발달 어린이와 난독증 어린이를 구분하는 능력을 어떻게 향상시키는가?
• RQ3 동일한 글쓰기 데이터를 사용할 때 RNN 기반 모델이 CNN 기반 모델보다 얼마나 뛰어나게 난독증을 분류하는가?
• RQ4 디지털 태블릿 기반 시스템이 전통적인 BHK 검사에 비해 난독증 진단의 시간과 주관성을 줄일 수 있는가?
• RQ5 개인 맞춤 학습이나 로봇 보조 트레이닝과 같은 교육적 맥락에서 이러한 시스템을 사용할 경우의 함의는 무엇인가?

주요 결과

• RNN 모델은 난독증 어린이를 정확하게 식별하는 데 90%의 정확도를 달성했으며, 이는 CNN 모델이 난독증 사례의 30% 미만을 정확히 식별한 것에 비해 뚜렷이 뛰어났다.
• 시간에 따라 해상도가 높은 x, y, 시간 좌표로 캡처된 글쓰기의 동적 특성이 분류에 필수적이었으며, 정적 이미지 분석만으로는 부족했다.
• 태블릿 기반 시스템은 몇 밀리초 내로 진단을 내렸으며, BHK 검사의 10분 분량 수동 평가에 비해 매우 빠르고 확장 가능한 대안을 제공했다.
• 연구는 인간 전문가가 글쓰기에서 중요한 동적 신호—예를 들어 비정상적인 획 순서, 불안정한 압력—를 놓치는 것을 입증했으며, RNN 모델은 이러한 신호를 성공적으로 포착했다.
• 시스템의 성능는 디지털 진단이 진단 지연과 주관성을 줄이고 조기에 간병을 가능하게 할 수 있음을 시사한다.
• 향후 연구는 펜 압력 및 기울기 데이터 통합을 탐색하고, 저비용 터치 기반 장치를 포함한 다양한 태블릿 유형에서 결과가 일반화되는지 평가해야 한다.