[논문 리뷰] Graph Modelling Analysis of Speech-Gesture Interaction for Aphasia Severity Estimation

Navya Martin Kollapally, Christa M. Akers외 1명|arXiv (Cornell University)|2026. 01. 27.

Neurobiology of Language and Bilingualism인용 수 0

한 줄 요약

본 논문은 어휘 아이템과 제스처를 포함한 방향성 다중모달 그래프로 담화를 모델링하여 실어증 중증도를 추정하는 그래프 신경망 프레임워크를 제안하고, 독립적인 어휘 특징이 아닌 말-제스처 상호작용이 중증도를 인코딩한다는 것을 보여준다.

ABSTRACT

Aphasia is an acquired language disorder caused by injury to the regions of the brain that are responsible for language. Aphasia may impair the use and comprehension of written and spoken language. The Western Aphasia Battery-Revised (WAB-R) is an assessment tool administered by speech-language pathologists (SLPs) to evaluate the aphasia type and severity. Because the WAB-R measures isolated linguistic skills, there has been growing interest in the assessment of discourse production as a more holistic representation of everyday language abilities. Recent advancements in speech analysis focus on automated estimation of aphasia severity from spontaneous speech, relying mostly in isolated linguistic or acoustical features. In this work, we propose a graph neural network-based framework for estimating aphasia severity. We represented each participant's discourse as a directed multi-modal graph, where nodes represent lexical items and gestures and edges encode word-word, gesture-word, and word-gesture transitions. GraphSAGE is employed to learn participant-level embeddings, thus integrating information from immediate neighbors and overall graph structure. Our results suggest that aphasia severity is not encoded in isolated lexical distribution, but rather emerges from structured interactions between speech and gesture. The proposed architecture offers a reliable automated aphasia assessment, with possible uses in bedside screening and telehealth-based monitoring.

연구 동기 및 목표

• WAB-R과 같은 고립된 언어적 지표를 넘어 자동화된 포괄적 실어증 평가를 동기 부여한다.
• 담화 수준의 말-제스처 상호작용이 실어증 중증도 추정의 개선에 기여하는지 조사한다.
• 다중모달 담화의 그래프 기반 표현을 개발하고 참가자 임베딩을 학습한다.
• 자동화된 방법을 활용한 병상 선별 및 원격의료 모니터링 가능성을 평가한다.

제안 방법

• 각 참가자의 담화를 노드로 어휘 항목과 제스처를 포함하는 방향성 다중모달 그래프로 표현한다.
• 전이와 상호작용을 포착하기 위해 단어-단어, 제스처-단어, 그리고 단어-제스처 전이를 위한 간선을 인코딩한다.
• 그래프 구조에서 참가자 수준 임베딩을 학습하기 위해 GraphSAGE를 적용한다.
• 즉시 이웃 및 전체 그래프 토폴로지의 정보를 통합하여 실어증 중증도를 추정한다.
• 임상 및 원격 설정에서 자동화된 실어증 평가 도구로서 프레임워크를 평가한다.

실험 결과

연구 질문

• RQ1 말과 제스처의 방향성 다중모달 그래프가 고립된 어휘 특징보다 실어증 중증도를 더 잘 포착할 수 있는가?
• RQ2 담화 그래프의 GraphSAGE 기반 임베딩이 전통적 특징과 비교하여 중증도 추정을 향상시키는가?
• RQ3 자연스러운 담화에서 정확한 실어증 중증도 추정을 위해 말-제스처 상호작용이 필수적인가?

주요 결과

• 실어증 중증도는 고립된 어휘 분포보다는 구조화된 말-제스처 상호작용에 인코딩되어 있는 것으로 보인다.
• 제안된 그래프 기반 프레임워크는 병상 선별 및 원격의료 모니터링에 적합한 신뢰할 수 있는 자동화된 실어증 평가를 제공한다.
• 그래프 신경망 임베딩은 지역 이웃 정보와 전역 그래프 구조를 통합하여 중증도를 추정한다.