[논문 리뷰] Detecting Autism Spectrum Disorders with Machine Learning Models Using Speech Transcripts

Vikram Ramesh, Rida Assaf|arXiv (Cornell University)|2021. 10. 07.

Autism Spectrum Disorder Research참고 문헌 32인용 수 6

한 줄 요약

이 연구는 TalkBank 데이터베이스의 대화 기록을 이용해 어린이의 자폐 스펙트럼 장애(ASD)를 비침습적으로 탐지하기 위한 기계학습 기반 접근법을 제안한다. 평균 문장 길이(MLU), 턴 간섭 비율, 품사 분석 등 50개 이상의 언어적 특징을 추출하여 로지스틱 회귀 및 랜덤 포레스트 모델이 75–80%의 정확도를 달성했으며, 이는 계산적 언어학이 높은 재현율과 합리적인 AUC 점수를 기반으로 조기에 객관적인 ASD 스크리닝을 가능하게 한다는 것을 보여준다.

ABSTRACT

Autism spectrum disorder (ASD) can be defined as a neurodevelopmental disorder that affects how children interact, communicate and socialize with others. This disorder can occur in a broad spectrum of symptoms, with varying effects and severity. While there is no permanent cure for ASD, early detection and proactive treatment can substantially improve the lives of many children. Current methods to accurately diagnose ASD are invasive, time-consuming, and tedious. They can also be subjective perspectives of a number of clinicians involved, including pediatricians, speech pathologists, psychologists, and psychiatrists. New technologies are rapidly emerging that include machine learning models using speech, computer vision from facial, retinal, and brain MRI images of patients to accurately and timely detect this disorder. Our research focuses on computational linguistics and machine learning using speech data from TalkBank, the world's largest spoken language database. We used data of both ASD and Typical Development (TD) in children from TalkBank to develop machine learning models to accurately predict ASD. More than 50 features were used from specifically two datasets in TalkBank to run our experiments using five different classifiers. Logistic Regression and Random Forest models were found to be the most effective for each of these two main datasets, with an accuracy of 0.75. These experiments confirm that while significant opportunities exist for improving the accuracy, machine learning models can reliably predict ASD status in children for effective diagnosis.

연구 동기 및 목표

• 어린이의 대화 데이터를 이용해 비침습적이고 계산적으로 효율적인 조기 ASD 진단 방법을 개발하기 위해.
• 현재 임상 진단의 한계를 해결하기 위해, 즉 시간이 오래 걸리고 주관적이며 종종 지연되는 점을 개선하기 위해.
• ASD 및 정상 발달(정상 발달, TD) 어린이의 대화 기록에서 추출한 언어적 특징을 기반으로 다양한 기계학습 분류기의 성능을 평가하기 위해.
• 재귀적 특징 제거(RFE)를 이용해 ASD와 TD를 구분하는 데 가장 예측력 있는 언어적 특징을 특정하기 위해.
• 특히 언어 발달 지연(DD)이 있는 경우의 오진률를 줄이고 조기 진단 정확도를 향상시키기 위해.

제안 방법

• ASD, TD 및 한 경우에서는 언어 발달 지연(DD)이 있는 어린이를 포함한 TalkBank의 두 데이터셋(Eigsti 및 Nadig)에서 대화 기록 데이터를 수집하였다.
• 어느 한 어린이당 57–61개의 언어적 특징을 추출하였으며, 이는 평균 문장 길이(MLU), 어머니 대비 자녀의 턴 길이 비율(MLT 비율), 품사(대명사, 접속사, 否정어), 총 말한 단어 수 등을 포함한다.
• 다섯 가지 분류기인 로지스틱 회귀, 서포트 벡터 머신(SVM), 나이브 베이즈, 랜덤 포레스트, K-최근접 이웃(KNN)을 적용하였으며, KNN는 k=5 및 균일 가중치를 사용하였다.
• 각 모델의 가장 관련성이 높은 예측 변수를 선별하기 위해 재귀적 특징 제거(RFE)를 적용하였다.
• 초기화수를 최적화하였으며, 특히 랜덤 포레스트 모델의 n_estimators를 200으로 증가시키고 max_depth를 2로 설정하여 성능을 향상시켰다.
• 분류 신뢰도와 균형을 평가하기 위해 정확도, F1 점수, 정밀도, 재현율, ROC-AUC와 같은 표준 지표를 사용해 모델을 평가하였다.

실험 결과

연구 질문

• RQ1 어린이의 대화 기록에서 추출한 언어적 특징을 기반으로 훈련된 기계학습 모델이 높은 정확도와 재현율을 기반으로 자폐 스펙트럼 장애(ASD)를 신뢰성 있게 탐지할 수 있는가?
• RQ2 다양한 데이터셋에서 대화 기록 데이터를 이용한 기계학습 분류기 중 어떤 것이 ASD 탐지에 가장 우수한 성능을 보이는가?
• RQ3 어린이의 ASD와 정상 발달(TD)을 구분하는 데 가장 예측력 있는 언어적 특징은 무엇인가?
• RQ4 훈련 데이터에 언어 발달 지연(DD)이 있는 어린이를 포함할 경우 모델 성능과 진단 정확도에 어떤 영향을 미치는가?
• RQ5 비침습적이고 개인정보 보호에 유리한 대화 분석 기술이 전통적인 임상 방법에 비해 조기 ASD 진단에 얼마나 기여할 수 있는가?

주요 결과

• 로지스틱 회귀 및 랜덤 포레스트 모델은 Nadig 데이터셋에서 75%의 정확도를 기록했으며, 재현율은 0.75, AUC는 0.75였다.
• Eigsti 데이터셋에서는 랜덤 포레스트가 80%의 정확도, 80%의 재현율, 0.75의 AUC를 기록하여 ASD 어린이를 식별하는 데 뛰어난 성능을 보였다.
• 나이브 베이즈는 Eigsti(다중) 데이터셋에서 최고의 성능을 보였으며, 정확도 60%와 AUC 0.60을 기록했지만, 나머지 세 모델은 0.40 이하의 점수를 기록했다.
• 두 데이터셋에서 가장 중요한 특징은 평균 문장 길이(MLU), 어머니 대비 자녀의 턴 길이 비율(MLT 비율), 품사(대명사, 접속사, 부정어), 총 말한 단어 수였다.
• 재귀적 특징 제거(RFE)는 MLU와 MLT 비율이 항상 상위 4개 이내로 가장 영향력 있는 특징임을 확인했다.
• 강력한 성능에도 불구하고, 특히 3세 이하 어린이 및 다양한 언어 환경에서의 데이터 부족으로 인해 모델의 정확도는 여전히 제한되어 있다.