[論文レビュー] An Evaluation of Machine Learning Approaches for Early Diagnosis of Autism Spectrum Disorder

Rownak Ara Rasul, Promy Saha+4 more|arXiv (Cornell University)|Sep 20, 2023

Autism Spectrum Disorder Research被引用数 4

ひとこと要約

本研究では、乳児・小児、成人、および統合データセットを用いた自閉症スペクトラム障害（ASD）の早期診断のため、8つの教師あり機械学習モデルと5つの教師なしクラスタリング手法を評価した。乳児・小児データセットではロジスティック回帰が100%の正答率を達成した一方、最適化されたニューラルネットワークは統合データセットで94.24%の正答率に達した。スぺクトラルクラスタリングは、NMIおよびARI指標において他の手法を上回り、ラベルなし状況下でも高い頑健性を示した。

ABSTRACT

Autistic Spectrum Disorder (ASD) is a neurological disease characterized by difficulties with social interaction, communication, and repetitive activities. While its primary origin lies in genetics, early detection is crucial, and leveraging machine learning offers a promising avenue for a faster and more cost-effective diagnosis. This study employs diverse machine learning methods to identify crucial ASD traits, aiming to enhance and automate the diagnostic process. We study eight state-of-the-art classification models to determine their effectiveness in ASD detection. We evaluate the models using accuracy, precision, recall, specificity, F1-score, area under the curve (AUC), kappa, and log loss metrics to find the best classifier for these binary datasets. Among all the classification models, for the children dataset, the SVM and LR models achieve the highest accuracy of 100% and for the adult dataset, the LR model produces the highest accuracy of 97.14%. Our proposed ANN model provides the highest accuracy of 94.24% for the new combined dataset when hyperparameters are precisely tuned for each model. As almost all classification models achieve high accuracy which utilize true labels, we become interested in delving into five popular clustering algorithms to understand model behavior in scenarios without true labels. We calculate Normalized Mutual Information (NMI), Adjusted Rand Index (ARI), and Silhouette Coefficient (SC) metrics to select the best clustering models. Our evaluation finds that spectral clustering outperforms all other benchmarking clustering models in terms of NMI and ARI metrics while demonstrating comparability to the optimal SC achieved by k-means. The implemented code is available at GitHub.

研究の動機と目的

• 多様な教師ありおよび教師なし機械学習モデルの性能を、ASDの早期診断の文脈で評価すること。
• 実世界のデータセットを用いたASD検出において、最も効果的な分類およびクラスタリングアルゴリズムを同定すること。
• 特徴量の重要度分析を通じて、ASD関連の主要な臨床的特徴を特定すること。
• 即時の、アクセス可能なASDスクリーニングを可能にするGUI搭載の機械学習システムの開発。
• 特に真のラベルが存在しない教師なし設定において、MLアプローチの包括的評価の不足を埋めること。

提案手法

• 分類済みおよび統合されたASDデータセットに、SVM、ロジスティック回帰、ランダムフォレスト、勾配ブースティング、ナイーブベイズ、K近傍法、決定木、およびニューラルネットワークを含む8つの教師あり分類モデルを適用した。
• グリッドサーチおよびベイズ最適化を用いたハイパーパrameterチューニングにより、複数の指標を満たすモデル性能の最適化を実施した。
• 分類モデルの評価には、正答率、適合率、再現率、特異度、F1スコア、AUC-ROC、カッパ係数、およびログロスを用い、性能の頑健性を評価した。
• 真のラベルが存在しないデータセットに、k-means、階層的クラスタリング、ガウス混合モデル、スぺクトラルクラスタリング、BIRCHの5つの教師なしクラスタリングアルゴリズムを適用した。
• クラスタリング性能の測定には、正規化相互情報量（NMI）、調整ランダムインデックス（ARI）、およびシルエット係数（SC）を用いた。
• ストリームリットを基盤とするGUIを構築し、入力された特徴量を用いて即時のASDリスク予測を可能にし、臨床現場での利用可能性を向上させた。

実験結果

リサーチクエスチョン

• RQ1 乳児および成人集団におけるASDの診断精度が最も高い教師あり機械学習モデルは何か？
• RQ2 真のラベルがASDデータセットに存在しない状況で、異なるクラスタリングアルゴリズムの性能はいかがだったか？
• RQ3 異なる年齢層において、ASDを予測するのに最も有用な臨床的特徴は何か？
• RQ4 MLモデルとGUIを統合したハイブリッドシステムは、より迅速かつスケーラブルでコスト効率の良いASDスクリーニングを可能にするか？
• RQ5 分類済み（乳児／成人）データセットと統合データセットの両方において、モデルの性能はどのように変化したか？

主な発見

• 乳児データセットでは、SVMおよびロジスティック回帰の両方が100%の分類正答率を達成し、ほぼ完璧な検出性能を示した。
• 成人データセットでは、ロジスティック回帰が97.14%の最高正答率を記録し、他のモデルを上回った。
• 最適化されたニューラルネットワークモデルは、ハイパーパrameterチューニングを経て、統合データセットで94.24%の正答率を達成し、優れた一般化性能を示した。
• スぺクトラルクラスタリングは、統合データセットにおいてNMI（0.539）およびARI（0.668）の両面で他のすべてのクラスタリングモデルを上回り、優れたクラスタ品質を示した。
• A9スコア（身体的接触への嫌悪）は、成人および統合データセットにおいて最も顕著な予測要因と特定された。一方、A4（他者の感情を理解できない）は乳児データセットにおいて重要な要因であった。
• 開発されたGUIシステムは、入力された特徴量を用いて即時のASDリスク予測を可能にし、予備スクリーニングのためのスケーラブルなツールを提供した。