[论文解读] Detecting Autism Spectrum Disorders with Machine Learning Models Using Speech Transcripts

Vikram Ramesh, Rida Assaf|arXiv (Cornell University)|Oct 7, 2021

Autism Spectrum Disorder Research参考文献 32被引用 6

一句话总结

本研究提出一种非侵入性机器学习方法，利用 TalkBank 数据库中的儿童言语转录文本检测自闭症谱系障碍（ASD）。通过提取 50 多个语言学特征（如平均语句长度（MLU）、轮流说话比率和词性），逻辑回归与随机森林模型实现了 75–80% 的准确率，表明计算语言学可实现早期、客观的 ASD 筛查，具有高召回率和合理的 AUC 分数。

ABSTRACT

Autism spectrum disorder (ASD) can be defined as a neurodevelopmental disorder that affects how children interact, communicate and socialize with others. This disorder can occur in a broad spectrum of symptoms, with varying effects and severity. While there is no permanent cure for ASD, early detection and proactive treatment can substantially improve the lives of many children. Current methods to accurately diagnose ASD are invasive, time-consuming, and tedious. They can also be subjective perspectives of a number of clinicians involved, including pediatricians, speech pathologists, psychologists, and psychiatrists. New technologies are rapidly emerging that include machine learning models using speech, computer vision from facial, retinal, and brain MRI images of patients to accurately and timely detect this disorder. Our research focuses on computational linguistics and machine learning using speech data from TalkBank, the world's largest spoken language database. We used data of both ASD and Typical Development (TD) in children from TalkBank to develop machine learning models to accurately predict ASD. More than 50 features were used from specifically two datasets in TalkBank to run our experiments using five different classifiers. Logistic Regression and Random Forest models were found to be the most effective for each of these two main datasets, with an accuracy of 0.75. These experiments confirm that while significant opportunities exist for improving the accuracy, machine learning models can reliably predict ASD status in children for effective diagnosis.

研究动机与目标

• 开发一种非侵入性、计算高效的早期 ASD 检测方法，利用儿童言语数据。
• 解决当前临床诊断的局限性，即耗时、主观且常出现延迟。
• 评估多种机器学习分类器在 ASD 和典型发育（TD）儿童言语转录文本中提取的语言学特征上的表现。
• 利用递归特征消除（RFE）识别区分 ASD 与 TD 的最具预测性的语言学特征。
• 提高早期诊断准确率，减少误诊，特别是在语言发育迟缓（DD）病例中。

提出的方法

• 从 TalkBank 数据库的两个数据集（Eigsti 和 Nadig）中收集言语转录数据，涵盖 ASD 儿童、典型发育（TD）儿童，其中在一种情况下也包括语言发育迟缓（DD）儿童。
• 为每位儿童提取 57–61 个语言学特征，包括平均语句长度（MLU）、MLT 比率（儿童与母亲轮流说话长度比）、词性（代词、连词、否定词）以及总词汇量。
• 应用五种分类器：逻辑回归、支持向量机（SVM）、朴素贝叶斯、随机森林和 K-最近邻（KNN），其中 KNN 使用 k=5 且权重均匀。
• 使用递归特征消除（RFE）对特征重要性进行排序，并为每种模型选择最相关的预测变量。
• 优化超参数，特别是将随机森林模型的 n_estimators 提高至 200，并将 max_depth 设为 2，以提升性能。
• 使用标准指标评估模型表现：准确率、F1 分数、精确率、召回率和 ROC-AUC，以评估分类的可靠性与平衡性。

实验结果

研究问题

• RQ1 基于儿童言语转录文本的语言学特征训练的机器学习模型，能否以高准确率和高召回率可靠地检测自闭症谱系障碍（ASD）？
• RQ2 在不同数据集上，哪些机器学习分类器在 ASD 检测的言语转录数据上表现最佳？
• RQ3 哪些语言学特征对区分儿童 ASD 与典型发育（TD）最具预测性？
• RQ4 在训练数据中包含语言发育迟缓（DD）儿童，如何影响模型性能与诊断准确率？
• RQ5 与传统临床方法相比，非侵入性、保护隐私的言语分析在多大程度上能改善早期 ASD 检测？

主要发现

• 在 Nadig 数据集上，逻辑回归与随机森林模型均实现了 75% 的准确率，召回率为 0.75，AUC 为 0.75。
• 在 Eigsti 数据集上，随机森林模型达到 80% 的准确率、80% 的召回率和 0.75 的 AUC，表明其在识别 ASD 儿童方面表现强劲。
• 朴素贝叶斯在 Eigsti（多）数据集上表现最佳，准确率为 60%，AUC 为 0.60，尽管其他三种模型的 AUC 均低于 0.40。
• 在两个数据集中，最重要的特征是平均语句长度（MLU）、MLT 比率（儿童与母亲轮流说话长度比）、词性（代词、连词、否定词）以及总词汇量。
• 递归特征消除（RFE）证实，MLU 和 MLT 比率在所有模型中始终位列前四重要的影响特征。
• 尽管性能表现良好，模型准确率仍受限于数据稀缺，特别是 3 岁以下儿童及语言环境多样的群体。