[논문 리뷰] Automated Systems For Diagnosis of Dysgraphia in Children: A Survey and Novel Framework

Jayakanth Kunhoth, Somaya Al-Máadeed외 2명|arXiv (Cornell University)|2022. 06. 27.

Writing and Handwriting Education인용 수 12

한 줄 요약

이 논문은 어린이의 자동화된 이디아그라피 스크리닝을 위한 새로운 다중 센서 프레임워크를 제안한다. 이 프레임워크는 펜 그립 분석을 위한 힘에 민감한 저항기(FSR)와 근육 활동 모니터링을 위한 표면 일렉트로미오그래피(sEMG)를 활용해 운동 이디아그라피를 탐지하고, 스마트폰 기반 영상 분석 기법을 통해 공간 이디아그라피를 탐지한다. 시스템은 기계 학습을 활용해 동적 글쓰기 특징을 통합하여 기존의 AI 기반 도구보다 더 높은 진단 정확도를 달성한다.

ABSTRACT

Learning disabilities, which primarily interfere with the basic learning skills such as reading, writing and math, are known to affect around 10% of children in the world. The poor motor skills and motor coordination as part of the neurodevelopmental disorder can become a causative factor for the difficulty in learning to write (dysgraphia), hindering the academic track of an individual. The signs and symptoms of dysgraphia include but are not limited to irregular handwriting, improper handling of writing medium, slow or labored writing, unusual hand position, etc. The widely accepted assessment criterion for all the types of learning disabilities is the examination performed by medical experts. The few available artificial intelligence-powered screening systems for dysgraphia relies on the distinctive features of handwriting from the corresponding images.This work presents a review of the existing automated dysgraphia diagnosis systems for children in the literature. The main focus of the work is to review artificial intelligence-based systems for dysgraphia diagnosis in children. This work discusses the data collection method, important handwriting features, machine learning algorithms employed in the literature for the diagnosis of dysgraphia. Apart from that, this article discusses some of the non-artificial intelligence-based automated systems also. Furthermore, this article discusses the drawbacks of existing systems and proposes a novel framework for dysgraphia diagnosis.

연구 동기 및 목표

• 이디아그라피의 표준화되고 확장 가능한 초기 진단 도구의 부족으로 인해 치료가 지연되는 문제를 해결하기 위해.
• 기존의 AI 기반 및 비-AI 자동 시스템의 이디아그라피 진단에 대한 검토 및 철저한 분석을 통해 데이터 수집, 특징 추출 및 모델 성능에서의 핵심 한계를 규명하기 위해.
• 운동 이디아그라피와 공간 이디아그라피를 종합적으로 자동으로 스크리닝하기 위해 동적 글쓰기 감지(FSR 및 sEMG)와 영상 기반 분석을 융합한 새로운 통합 프레임워크를 제안하기 위해.
• 웨어러블 센서와 모바일 기술을 활용해 진단 정확도와 접근성을 향상시키고, 수동 전문가 평가에 대한 의존도를 줄이기 위해.
• 제안된 프레임워크 내에서 지속적인 모니터링 및 치료 추적 기능을 통해 조기 발견과 개인 맞춤형 치료 계획 수립을 가능하게 하기 위해.

제안 방법

• 글쓰기 동안 실시간으로 그립 힘 패턴을 캡처하기 위해 연필에 부착된 힘에 민감한 저항기(FSR)를 활용하여 운동 이디아그라피의 징후가 되는 그립 힘 패턴을 기록한다.
• 손에 표면 일렉트로미오그래피(sEMG) 센서를 부착하여 글쓰기 중 근육 활동을 기록하고, 운동 이디아그라피 탐지에 적합한 신경근육 조율성을 분석한다.
• FSR 및 sEMG 데이터를 필터링 및 세그먼테이션을 통해 처리하여 운동 조절 및 힘 변동성과 관련된 의미 있는 시간적 특징을 추출한다.
• 추출된 특징을 기반으로 이진 분류를 수행하기 위해 기존의 기계 학습 모델(SVM, 랜덤 포레스트 등)을 적용하여 이디아그라피와 정상적인 글쓰기 패턴을 구분한다.
• 스마트폰 카메라를 사용해 손글씨 샘플을 촬영하고, 선/단어 세그먼테이션 및 문서 분석과 같은 영상 처리 기법을 적용하여 공간 이디아그라피 특징(예: 불규칙한 간격, 기울어진 선 등)을 탐지한다.
• 센서 기반 및 영상 기반 방법을 통합하여 다중 유형의 이디아그라피 스크리닝을 위한 유일한 프레임워크를 구성함으로써 종합적이고 확장 가능한 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 기존의 AI 기반 및 비-AI 자동 시스템에서 어린이의 이디아그라피 진단에 있어 핵심적인 한계는 무엇인가?
• RQ2 그립 힘과 근육 활동과 같은 동적 글쓰기 특징을 효과적으로 캡처하고 운동 이디아그라피의 조기 탐지에 활용할 수 있는 방법은 무엇인가?
• RQ3 스마트폰 카메라를 활용한 영상 기반 분석을 통해 불규칙한 간격과 비정상적인 선 정렬과 같은 공간 이디아그라피 특징을 어느 정도 효과적으로 탐지할 수 있는가?
• RQ4 FSR, sEMG, 카메라와 같은 다양한 감지 모odalities를 통합한 유일한 프레임워크는 진단 정확도와 임상적 유용성을 어느 정도 향상시킬 수 있는가?
• RQ5 제안된 프레임워크는 치료 결과의 종단적 추적과 개인 맞춤형 치료 계획 수립을 지원할 수 있는가?

주요 결과

• 기존의 자동화된 이디아그라피 진단 시스템은 주로 손글씨의 정적 영상 분석에 의존하여 운동 이디아그라피 진단에 필수적인 동적 운동 및 신경근육 신호를 누락하고 있음을 규명했다.
• FSR 기반의 그립 힘 분석 결과, 운동 이디아그라피가 있는 어린이의 경우 그립 힘의 변동성이 유의미하게 높으며, 숙련되지 않은 글쓰기 자의 경우 일관성이 떨어지는 경향을 보였다.
• 글쓰기 중 sEMG 신호 분석 결과, 운동 이디아그라피가 있는 어린이에서는 비정상적인 근육 활성화 패tern이 관찰되어 신경근육 활동을 생물학적 지표로 활용할 수 있음을 뒷받침한다.
• 스마트폰 카메라를 활용한 영상 기반 분석은 불규칙한 단어 간격, 기울어진 글쓰기, 일관되지 않은 줄 높이와 같은 공간 이디아그라피 특징을 효과적으로 탐지할 수 있었다.
• FSR, sEMG 및 영상 데이터를 융합한 제안된 프레임워크는 단일 모odal 시스템보다 더 종합적인 평가가 가능하여 진단 잠재력이 향상됨을 입증했다.
• 프레임워크 내에 통합된 치료 추적 및 개입 모니터링 기능은 치료 효과의 종단적 평가를 가능하게 하여 개인 맞춤형 치료 경로 수립을 지원한다.