[논문 리뷰] DysLexML: Screening Tool for Dyslexia Using Machine Learning

Thomais Asvestopoulou, Victoria Manousaki외 5명|arXiv (Cornell University)|2019. 03. 14.

Reading and Literacy Development참고 문헌 8인용 수 19

한 줄 요약

DysLexML은 어린이가 텍스트를 읽는 동안의 눈운동 데이터를 분석하여 발달성 난독증을 선별하는 기계학습 기반 도구로, 평균 및 중앙값 눈동자의 길이, 짧은 전진 이동 수, 복수로 고정된 단어 수의 네 가지 핵심 특징을 최소화하여 사용한다. LASSO 기반 특징 선택을 통해 도출되었으며, 선형 SVM 분류기로 97%의 정확도를 달성했고, 인위적인 고정 오차 조건에서도 뛰어난 성능을 보여, 저가의 소비자용 눈운동 측정 장치를 사용한 저비용 실생활 환경에의 구현 가능성을 입증한다.

ABSTRACT

Eye movements during text reading can provide insights about reading disorders. Via eye-trackers, we can measure when, where and how eyes move with relation to the words they read. Machine Learning (ML) algorithms can decode this information and provide differential analysis. This work developed DysLexML, a screening tool for developmental dyslexia that applies various ML algorithms to analyze fixation points recorded via eye-tracking during silent reading of children. It comparatively evaluated its performance using measurements collected in a systematic field study with 69 native Greek speakers, children, 32 of which were diagnosed as dyslexic by the official governmental agency for diagnosing learning and reading difficulties in Greece. We examined a large set of features based on statistical properties of fixations and saccadic movements and identified the ones with prominent predictive power, performing dimensionality reduction. Specifically, DysLexML achieves its best performance using linear SVM, with an a accuracy of 97 %, with a small feature set, namely saccade length, number of short forward movements, and number of multiply fixated words. Furthermore, we analyzed the impact of noise on the fixation positions and showed that DysLexML is accurate and robust in the presence of noise. These encouraging results set the basis for developing screening tools in less controlled, larger-scale environments, with inexpensive eye-trackers, potentially reaching a larger population for early intervention.

연구 동기 및 목표

• 기계학습과 눈운동 데이터를 활용해 확장 가능하고 정확하며 강건한 발달성 난독증 선별 도구를 개발한다.
• 난독증 진단에 높은 예측 능력을 지닌 최소한의 해석 가능한 눈운동 특징 집합을 식별한다.
• 저가 눈운동 장치에서 흔히 발생하는 실제 노이즈 조건 하에서 모델의 강건성을 평가한다.
• 학교나 가정과 같은 덜 통제된 환경에서 대규모 저비용 선별을 가능하게 한다.
• 비침습적이고 효율적인 방식으로 위험군에 속한 어린이를 조기에 발견함으로써 조기 간병을 지원한다.

제안 방법

• 69명의 그리스어를 구사하는 어린이(중 32명은 난독증으로 진단됨)의 눈운동 데이터를 60Hz로 작동하는 맞춤형 눈운동 측정 장치를 사용해 두 텍스트를 암기 없이 읽는 동안 측정하였다.
• 고정점은 산산이 흩어진 알고리즘을 사용해 탐지하였으며, 고정점과 눈동자의 특성에 기반해 총 148개의 통계적 특징을 추출하였다.
• 차원 축소를 위해 LASSO 회귀 분석을 적용하였고, 1표준오차 선택 기준(λ1SE)을 사용해 가장 예측력이 높은 특징을 식별하였다.
• 차원 축소된 특징 집합을 기반으로 선형 SVM, 나이브 베이즈 등 다양한 기계학습 분류기를 훈련하고 비교하였다.
• 실제 눈운동 오차를 시뮬레이션하기 위해 고정점 위치에 인위적인 가우시안 노이즈를 추가하였으며(σ = 1에서 40 픽셀까지), 모델의 강건성을 평가하였다.
• 정확도를 성능 평가 지표로 사용하였고, 최고의 모델은 기준 텍스트에서 단 네 가지 특징만을 사용해 97%의 정확도를 달성하였다.

실험 결과

연구 질문

• RQ1 기계학습 모델이 눈운동 데이터에서 유의미한 특징 집합만을 사용해 난독증 환자와 정상 독자 간에 높은 정확도로 구분할 수 있는가?
• RQ2 실제 고정 오차 조건 하에서 모델의 성능은 어떻게 저하되며, 저가 눈운동 장치에 적용하기에 충분히 강건한가?
• RQ3 특정 눈운동 특징 중 난독증에 대해 가장 예측력이 높은 것은 무엇이며, 텍스트 난이도에 따라 어떻게 변화하는가?
• RQ4 높은 진단 정확도를 유지하면서도 해석 가능성과 확장성을 높이기 위해 최소한의 특징 집합을 식별할 수 있는가?
• RQ5 텍스트 난이도가 난독증 선별 모델에서 예측 특징의 선택에 얼마나 큰 영향을 미치는가?

주요 결과

• 선형 SVM 분류기가 평균 및 중앙값 눈동자 길이, 짧은 전진 이동 수, 복수로 고정된 단어 수의 네 가지 특징만을 사용해 기준 텍스트에서 최고의 정확도 97%를 달성하였다.
• 모델은 인위적인 고정 오차 조건에서도 뛰어난 강건성을 유지하였으며, 노이즈 수준이 σ = 40 픽셀까지도 높은 정확도를 유지하여 저가 눈운동 장치에의 적용 가능성을 입증하였다.
• λ1SE 기반 LASSO 특징 선택을 통해 특징 공간을 축소하면서도 정확도를 유지하였으며, 이는 매우 해석 가능하고 최소한의 모델을 도출하였다.
• 더 쉬운 텍스트에서는 평균 눈동자 길이와 짧은 전진 이동 수의 두 가지 특징만 선택되었으며, 이는 텍스트 난이도가 단어 기반 특징의 관련성을 감소시킨다는 것을 시사한다.
• 본 연구는 최소한의 해석 가능한 특징 집합이 최신 기술 수준의 성능을 달성할 수 있음을 입증하였으며, 특징 집합의 크기를 줄였음에도 불구하고 다른 연구들과 비교해 유사하거나 더 높은 정확도를 확보하였다.
• 결과적으로, 저렴한 전문 장비가 아닌 일반적인 눈운동 측정 장치를 사용해 실생활 대규모 선별 환경에 시스템을 구현하는 것이 가능하다는 점을 뒷받침한다.