[论文解读] An Evaluation of Machine Learning Approaches for Early Diagnosis of Autism Spectrum Disorder

Rownak Ara Rasul, Promy Saha+4 more|arXiv (Cornell University)|Sep 20, 2023

Autism Spectrum Disorder Research被引用 4

一句话总结

本研究使用儿童、成人及合并数据集，评估了八种监督式机器学习模型和五种无监督聚类算法在早期自闭症谱系障碍（ASD）诊断中的表现。在儿童数据集上，逻辑回归模型达到100%准确率；在合并数据集上，经优化的人工神经网络模型准确率达94.24%；谱聚类在NMI和ARI指标上优于其他聚类方法，凸显其在无标签场景下的鲁棒性。

ABSTRACT

Autistic Spectrum Disorder (ASD) is a neurological disease characterized by difficulties with social interaction, communication, and repetitive activities. While its primary origin lies in genetics, early detection is crucial, and leveraging machine learning offers a promising avenue for a faster and more cost-effective diagnosis. This study employs diverse machine learning methods to identify crucial ASD traits, aiming to enhance and automate the diagnostic process. We study eight state-of-the-art classification models to determine their effectiveness in ASD detection. We evaluate the models using accuracy, precision, recall, specificity, F1-score, area under the curve (AUC), kappa, and log loss metrics to find the best classifier for these binary datasets. Among all the classification models, for the children dataset, the SVM and LR models achieve the highest accuracy of 100% and for the adult dataset, the LR model produces the highest accuracy of 97.14%. Our proposed ANN model provides the highest accuracy of 94.24% for the new combined dataset when hyperparameters are precisely tuned for each model. As almost all classification models achieve high accuracy which utilize true labels, we become interested in delving into five popular clustering algorithms to understand model behavior in scenarios without true labels. We calculate Normalized Mutual Information (NMI), Adjusted Rand Index (ARI), and Silhouette Coefficient (SC) metrics to select the best clustering models. Our evaluation finds that spectral clustering outperforms all other benchmarking clustering models in terms of NMI and ARI metrics while demonstrating comparability to the optimal SC achieved by k-means. The implemented code is available at GitHub.

研究动机与目标

• 评估多样化监督式与无监督机器学习模型在早期ASD诊断中的性能。
• 识别使用真实世界数据集进行ASD检测时最有效的分类与聚类算法。
• 通过特征重要性分析，确定与ASD相关的关键临床特征。
• 开发一种基于GUI的机器学习系统，实现快速、可及的ASD筛查。
• 填补ASD领域中对机器学习方法，尤其是无监督设置下无真实标签情况的综合评估空白。

提出的方法

• 在分割的和合并的ASD数据集上应用八种监督式分类模型——SVM、逻辑回归、随机森林、梯度提升、朴素贝叶斯、K近邻、决策树和人工神经网络。
• 通过网格搜索和贝叶斯优化进行超参数调优，以在多个指标上最大化模型性能。
• 使用准确率、精确率、召回率、特异性、F1分数、AUC-ROC、卡帕系数和对数损失等指标评估分类模型，以确保结果的稳健性。
• 在无真实标签的数据集上应用五种无监督聚类算法——k-means、层次聚类、高斯混合模型、谱聚类和BIRCH。
• 通过标准化互信息（NMI）、调整兰德指数（ARI）和轮廓系数（SC）衡量聚类性能。
• 基于Streamlit开发GUI，实现通过输入临床特征进行实时ASD风险预测，提升临床可及性。

实验结果

研究问题

• RQ1 在儿童和成人人群中，哪种监督式机器学习模型在ASD诊断中达到最高准确率？
• RQ2 当ASD数据集缺乏真实标签时，不同聚类算法的表现如何？
• RQ3 在不同年龄组中，哪些临床特征对ASD最具预测性？
• RQ4 结合机器学习模型与GUI的混合系统能否实现更快捷、可扩展且成本更低的ASD筛查？
• RQ5 模型性能在分割数据集（儿童/成人）与合并数据集之间有何差异？

主要发现

• 在儿童数据集中，SVM与逻辑回归均达到100%分类准确率，表明检测性能近乎完美。
• 在成人数据集中，逻辑回归达到最高准确率97.14%，优于其他模型。
• 经超参数调优后，所提出的神经网络模型在合并数据集上达到94.24%准确率，表现出良好的泛化能力。
• 在合并数据集上，谱聚类在NMI（0.539）和ARI（0.668）指标上优于所有其他聚类模型，表明其聚类质量更优。
• A9评分（对身体接触的回避）在成人和合并数据集中被确定为最重要预测因子，而A4（难以理解他人情绪）在儿童中为关键指标。
• 所开发的GUI系统可通过输入临床特征实现实时ASD风险预测，为初步筛查提供可扩展的工具。