[논문 리뷰] An Evaluation of Machine Learning Approaches for Early Diagnosis of Autism Spectrum Disorder

Rownak Ara Rasul, Promy Saha외 4명|arXiv (Cornell University)|2023. 09. 20.

Autism Spectrum Disorder Research인용 수 4

한 줄 요약

이 연구는 어린이, 성인 및 병합 데이터셋을 사용하여 조기 자폐 스펙트럼 장애(ASD) 진단을 위한 8개의 지도 학습 모델과 5개의 비지도 군집 알고리즘을 평가한다. 어린이 데이터셋에서 로지스틱 회귀가 100% 정확도를 기록했고, 최적화된 인공 신경망은 병합 데이터셋에서 94.24%의 정확도를 달성했다. 스펙트럼 군집화는 레이블이 없는 상황에서의 강건성을 입증하며 NMI 및 ARI 지표에서 다른 군집 방법보다 뛰어난 성능을 보였다.

ABSTRACT

Autistic Spectrum Disorder (ASD) is a neurological disease characterized by difficulties with social interaction, communication, and repetitive activities. While its primary origin lies in genetics, early detection is crucial, and leveraging machine learning offers a promising avenue for a faster and more cost-effective diagnosis. This study employs diverse machine learning methods to identify crucial ASD traits, aiming to enhance and automate the diagnostic process. We study eight state-of-the-art classification models to determine their effectiveness in ASD detection. We evaluate the models using accuracy, precision, recall, specificity, F1-score, area under the curve (AUC), kappa, and log loss metrics to find the best classifier for these binary datasets. Among all the classification models, for the children dataset, the SVM and LR models achieve the highest accuracy of 100% and for the adult dataset, the LR model produces the highest accuracy of 97.14%. Our proposed ANN model provides the highest accuracy of 94.24% for the new combined dataset when hyperparameters are precisely tuned for each model. As almost all classification models achieve high accuracy which utilize true labels, we become interested in delving into five popular clustering algorithms to understand model behavior in scenarios without true labels. We calculate Normalized Mutual Information (NMI), Adjusted Rand Index (ARI), and Silhouette Coefficient (SC) metrics to select the best clustering models. Our evaluation finds that spectral clustering outperforms all other benchmarking clustering models in terms of NMI and ARI metrics while demonstrating comparability to the optimal SC achieved by k-means. The implemented code is available at GitHub.

연구 동기 및 목표

• 다양한 지도 학습 및 비지도 학습 기계 학습 모델의 조기 ASD 진단 성능 평가.
• 실세계 데이터셋을 활용한 ASD 탐지에 가장 효과적인 분류 및 군집 알고리즘 식별.
• 특성 중요도 분 析를 통한 ASD와 관련된 핵심 임상적 특성 규명.
• 실시간, 접근 용이한 ASD 스크리닝을 위한 GUI 기반 기계 학습 시스템 개발.
• 특히 진정한 레이블이 없는 비지도 설정에서의 기계 학습 접근법에 대한 종합적 평가 부족 문제 해결.

제안 방법

• 분할 및 병합된 ASD 데이터셋에 대해 8개의 지도 학습 분류 모델—SVM, 로지스틱 회귀, 랜덤 포레스트, 그래디언트 부스팅, 나이브 베이즈, K-최근접 이웃, 의사결정나무, 인공 신경망—적용.
• 모델 성능 최적화를 위해 그리드 서치 및 베이지안 최적화를 통한 하이퍼파rameter 튜닝 수행.
• 정확도, 정밀도, 재현율, 특이도, F1 점수, AUC-ROC, 카파 계수, 로그 손실을 사용하여 분류 모델 평가 및 성능의 견고성 확보.
• 진정한 레이블이 없는 데이터셋에 대해 5개의 비지도 군집 알고리즘—k-means, 응집형 군집, 가우시안 혼합 모델, 스펙트럼 군집, BIRCH—적용.
• 군집 성능 평가를 위해 정규화된 상호정보량(NMI), 보정 랜드 지수(ARI), 실루엣 계수(SC) 측정.
• 실시간 ASD 위험 예측을 가능하게 하는 Streamlit 기반 GUI 개발을 통해 임상적 접근성 향상.

실험 결과

연구 질문

• RQ1 어린이 및 성인 인구에서 ASD 진단 정확도가 가장 높은 지도 학습 기계 학습 모델은 무엇인가?
• RQ2 ASD 데이터셋에서 진정한 레이블이 제공되지 않을 경우, 다양한 군집 알고리즘이 어떻게 성능을 내는가?
• RQ3 다양한 연령대에서 ASD를 예측하는 데 가장 유용한 임상적 특성들은 무엇인가?
• RQ4 기계 학습 모델과 GUI를 융합한 하이브리드 시스템은 더 빠르고 확장 가능하며 비용 효율적인 ASD 스크리닝을 가능하게 하는가?
• RQ5 분할된(어린이/성인) 데이터셋 대비 병합 데이터셋에서 모델 성능은 어떻게 달라지는가?

주요 결과

• 어린이 데이터셋에서 SVM과 로지스틱 회귀 모두 100% 분류 정확도를 기록하여 거의 완벽한 탐지 성능를 보였다.
• 성인 데이터셋에서는 로지스틱 회귀가 97.14%의 최고 정확도를 기록하여 다른 모델들을 압도했다.
• 최적화된 인공 신경망 모델은 하이퍼파rameter 튜닝 후 병합 데이터셋에서 94.24%의 정확도를 달성하여 뛰어난 일반화 능력을 입증했다.
• 스펙트럼 군집화는 병합 데이터셋에서 NMI(0.539) 및 ARI(0.668) 측면에서 모든 다른 군집 모델을 능가하여 뛰어난 군집 품질을 보였다.
• A9 점수(신체적 접촉에 대한 기피)는 성인 및 병합 데이터셋에서 가장 중요한 예측 변수로 규명되었고, A4(다른 사람의 감정을 이해하기 어려움)는 어린이 데이터셋에서 핵심 요소였다.
• 개발된 GUI 시스템은 입력된 특성들을 바탕으로 실시간으로 ASD 위험 예측을 가능하게 하여 예비 스크리닝을 위한 확장 가능한 도구를 제공한다.