[論文レビュー] Detecting Autism Spectrum Disorders with Machine Learning Models Using Speech Transcripts

Vikram Ramesh, Rida Assaf|arXiv (Cornell University)|Oct 7, 2021

Autism Spectrum Disorder Research参考文献 32被引用数 6

ひとこと要約

本研究では、TalkBankデータベースの発話トランスクリプトを用いて、自閉症スペクトラム症候群（ASD）を非侵襲的かつ機械学習的手法で検出する手法を提案する。50以上の言語的特徴（平均発話長（MLU）、ターンチェンジ比、品詞など）を抽出し、ロジスティック回帰およびランダムフォレストモデルが75–80％の正確性を達成した。これは、計算言語学が、高い再現率と妥当なAUCスコアを伴い、早期で客観的なASDスクリーニングを可能にできることを示している。

ABSTRACT

Autism spectrum disorder (ASD) can be defined as a neurodevelopmental disorder that affects how children interact, communicate and socialize with others. This disorder can occur in a broad spectrum of symptoms, with varying effects and severity. While there is no permanent cure for ASD, early detection and proactive treatment can substantially improve the lives of many children. Current methods to accurately diagnose ASD are invasive, time-consuming, and tedious. They can also be subjective perspectives of a number of clinicians involved, including pediatricians, speech pathologists, psychologists, and psychiatrists. New technologies are rapidly emerging that include machine learning models using speech, computer vision from facial, retinal, and brain MRI images of patients to accurately and timely detect this disorder. Our research focuses on computational linguistics and machine learning using speech data from TalkBank, the world's largest spoken language database. We used data of both ASD and Typical Development (TD) in children from TalkBank to develop machine learning models to accurately predict ASD. More than 50 features were used from specifically two datasets in TalkBank to run our experiments using five different classifiers. Logistic Regression and Random Forest models were found to be the most effective for each of these two main datasets, with an accuracy of 0.75. These experiments confirm that while significant opportunities exist for improving the accuracy, machine learning models can reliably predict ASD status in children for effective diagnosis.

研究の動機と目的

• 子供の発話データを用いた、非侵襲的かつ計算効率の良い早期ASD検出手法の開発を目的とする。
• 臨床的診断の限界（時間のかかる、主観的で、しばしば遅れる）を是正することを目的とする。
• ASDおよび通常発達（TD）の子供たちの発話トランスクリプトから抽出した言語的特徴を用いて、複数の機械学習分類器を評価することを目的とする。
• 再帰的特徴削除（RFE）を用いて、ASDとTDを区別する上で最も予測可能な言語的特徴を同定することを目的とする。
• 特に言語発達遅延（DD）を伴う症例においても、早期診断の正確性を向上させ、誤診を低減することを目的とする。

提案手法

• ASD、TD、および一部のケースで言語発達遅延（DD）を併存する子供を含む、2つのTalkBankデータセット（EigstiおよびNadig）から発話トランスクリプトデータを収集した。
• 1人の子供あたり57–61の言語的特徴を抽出し、平均発話長（MLU）、母子のターン長比（MLT比）、品詞（代名詞、接続詞、否定表現）、発話総語数などを含めた。
• 5つの分類器（ロジスティック回帰、SVM、ナイーブベイズ、ランダムフォレスト、およびK-近傍法（KNN））を適用した。KNNではk=5、均等重みを設定した。
• 各モデルの予測に最も関連する特徴を特定するために、再帰的特徴削除（RFE）を用いた。
• ハイパーパrameter最適化を実施し、特にランダムフォレストモデルではn_estimatorsを200に増加させ、max_depthを2に設定することで性能向上を図った。
• 分類の信頼性とバランスを評価するために、標準的な指標（正確性、F1スコア、適合率、再現率、ROC-AUC）を用いてモデルを評価した。

実験結果

リサーチクエスチョン

• RQ1 子供の発話トランスクリプトから抽出した言語的特徴を用いた機械学習モデルは、高い正確性と再現率を達成することができるか、ASDを信頼性高く検出できるか？
• RQ2 異なるデータセットにおいて、発話トランスクリプトデータを用いたASD検出に最も適した機械学習分類器は何か？
• RQ3 ASDと通常発達（TD）を区別する上で、最も予測可能な言語的特徴は何か？
• RQ4 訓練データに言語発達遅延（DD）を伴う子供を含めることで、モデルの性能および診断正確性にどのような影響が生じるか？
• RQ5 非侵襲的かつプライバシーを守る発話分析は、従来の臨床的手法と比較して、早期ASD検出をどの程度向上させられるか？

主な発見

• Nadigデータセットでは、ロジスティック回帰およびランダムフォレストモデルが75％の正確性を達成し、再現率0.75、AUC 0.75を記録した。
• Eigstiデータセットでは、ランダムフォレストが80％の正確性、80％の再現率、AUC 0.75を達成し、ASDの子供を識別する上で優れた性能を示した。
• Eigsti（マルチ）データセットではナイーブベイズが最も優れた性能を示し、正確性60％、AUC 0.60を記録したが、他の3つのモデルは0.40未満であった。
• 両データセットにおいて最も重要な特徴は、平均発話長（MLU）、母子ターン長比（MLT比）、品詞（代名詞、接続詞、否定表現）、および発話総語数であった。
• 再帰的特徴削除（RFE）により、MLUおよびMLT比がASD予測において常に上位4位以内の影響を持つことが確認された。
• 強力な性能を示したものの、特に3歳未塔の子供や多様な言語環境にいる子供のデータが不足していることが、正確性の限界要因となっている。