[논문 리뷰] Classification of Autistic and Non-Autistic Children's Speech: A Cross-Linguistic Study in Finnish, French, and Slovak

Sofoklis Kakouros, Ida-Lotta Myllylä|arXiv (Cornell University)|2026. 03. 06.

Autism Spectrum Disorder Research인용 수 0

한 줄 요약

이 연구는 핀란드어, 프랑스어, 슬로바키아어에서 ASD와 TD 음성을 구분하기 위해 간단한 음향-프로소딕 분류기(88 openSMILE 특징)를 학습시키고, pooled 및 LOCO 설정으로 통합 언어 성능과 교차 언어 일반화를 평가한다.

ABSTRACT

We present a cross-linguistic study of speech in autistic and non-autistic children speaking Finnish, French, and Slovak. We combine supervised classification with within-language and cross-corpus transfer experiments to evaluate classification performance within and across languages and to probe which acoustic cues are language-specific versus language-general. Using a large set of acoustic-prosodic features, we implement speaker-level classification benchmarks as an analytical tool rather than to seek state-of-the-art performance. Within-language models, evaluated with speaker-level cross-validation, yielded heterogeneous results. The Finnish model performed best (Accuracy 0.84, F1 0.88), followed by Slovak (Accuracy 0.63, F1 0.68) and French (Accuracy 0.68, F1 0.56). We then tested cross-language generalization. A model trained on all pooled corpora reached an overall Accuracy of 0.61 and F1 0.68. Leave-one-corpus-out experiments, which test transfer to an unseen language, showed moderate success when testing on Slovak (F1 0.70) and Finnish (F1 0.78), but poor transfer to French (F1 0.42). Feature-importance analyses across languages highlighted partially shared, but not fully language-invariant, acoustic markers of autism. These findings suggest that some autism-related speech cues generalize across typologically distinct languages, but robust cross-linguistic classifiers will likely require language-aware modeling and more homogeneous recording conditions.

연구 동기 및 목표

• 세 가지 언어에서 프로소딕 특징을 사용한 내언어 ASD vs TD 구분 평가.
• 하나 이상의 언어에서 학습된 분류기가 교차 언어 일반화되는지 평가.
• 특징 중요도 분석을 통해 자폐의 언어 일반적 vs 언어 특이적 음향 지표 식별.
• 현실적인 일반화 추정치를 얻기 위해 화자 수준의 교차 검증 사용.
• 녹음 조건과 언어가 교차 언어 로버스트니스에 미치는 영향을 탐구.

제안 방법

• 각 IPU에 대해 openSMILE eGeMAPS 발화 수준 함수물을 이용한 88차원 음향-프로소딕 특징 추출.
• ASD vs TD를 화자 수준에서 구분하기 위해 XGBoost 및 Random Forest 분류기 학습.
• 언어 특이 신호를 평가하기 위한 내언어 교차 검증 수행.
• 풀링된 다언어 학습 및 떠나기-하나의 코퍼스-아웃(LOCO) 평가로 교차 언어 분석 수행.
• 트리 기반 중요도 측정, TreeSHAP, 및 순열 중요도와 함께 특징 중요도 분석.
• 언어 특이 대 풀링 결과를 대조하여 언어 일반 지표를 식별.

실험 결과

연구 질문

• RQ1 프로소딕 특징을 사용하여 각 언어 내에서 ASD 대 TD 음성을 구분할 수 있는가?
• RQ2 풀링 및 LOCO 설정에서 한 언어로 학습된 모델이 다른 언어로 얼마나 일반화되는가?
• RQ3 어떤 음향-프로소딕 특징이 자폐의 언어 일반 지표가 되고, 어떤 것이 언어 특이적인가?

주요 결과

• 핀란드어 내 언어 내 정확도 0.84 및 F1 0.88; 슬로바키아어 정확도 0.63 및 F1 0.68; 프랑스어 정확도 0.68 및 F1 0.56.
• 교차 언어 풀링 모델은 평균 정확도 0.61 및 F1 0.68를 달성.
• LOCO 전이에서 핀란드어 F1 0.78 및 슬로바키아어 F1 0.70은 비교적 성공적이지만 프랑스어 F1 0.42는 여전히 낮다.
• 언어 간 F0 (피치) 분포는 ASD와 TD를 구별하는 데 일관되게 도움이 되며, 언어 특이 단서는 스펙트럴 기울, 전역 스펙트럴 형태, 다이내믹스, 포먼트 구조 및 강도에 관여한다.
• 풀링된 다언어 분석은 피치 및 스펙트럴-형상과 같은 공유적이며 언어 일반적인 단서를 드러내지만 언어 특이한 강조는 여전히 명백하다.