[論文レビュー] Graph Modelling Analysis of Speech-Gesture Interaction for Aphasia Severity Estimation

Navya Martin Kollapally, Christa M. Akers+1 more|arXiv (Cornell University)|Jan 27, 2026

Neurobiology of Language and Bilingualism被引用数 0

ひとこと要約

論文は、語彙項目とジェスチャーを有向多模態グラフとして言語構文をモデリングし、失語症の重症度を推定するグラフニューラルネットワークフレームワークを提案し、重症度は孤立した語彙特徴ではなく話言ジェスチャーの相互作用によって符号化されることを示す。

ABSTRACT

Aphasia is an acquired language disorder caused by injury to the regions of the brain that are responsible for language. Aphasia may impair the use and comprehension of written and spoken language. The Western Aphasia Battery-Revised (WAB-R) is an assessment tool administered by speech-language pathologists (SLPs) to evaluate the aphasia type and severity. Because the WAB-R measures isolated linguistic skills, there has been growing interest in the assessment of discourse production as a more holistic representation of everyday language abilities. Recent advancements in speech analysis focus on automated estimation of aphasia severity from spontaneous speech, relying mostly in isolated linguistic or acoustical features. In this work, we propose a graph neural network-based framework for estimating aphasia severity. We represented each participant's discourse as a directed multi-modal graph, where nodes represent lexical items and gestures and edges encode word-word, gesture-word, and word-gesture transitions. GraphSAGE is employed to learn participant-level embeddings, thus integrating information from immediate neighbors and overall graph structure. Our results suggest that aphasia severity is not encoded in isolated lexical distribution, but rather emerges from structured interactions between speech and gesture. The proposed architecture offers a reliable automated aphasia assessment, with possible uses in bedside screening and telehealth-based monitoring.

研究の動機と目的

• WAB-R のような孤立した言語測定を超えた自動化された全体的な失語症評価を動機づける。
• ディスコースレベルの話し言葉とジェスチャーの相互作用が失語症の重症度推定を改善するかを調査する。
• 多模態ディスコースのグラフ表現を開発し、参加者の埋め込みを学習する。
• 自動化手法を用いたベッドサイドスクリーニングと遠隔医療モニタリングの可能性を評価する。

提案手法

• 各参加者のディスコースを語彙項目とジェスチャーをノードとする有向多模態グラフとして表現する。
• 語彙-語彙、ジェスチャー-語彙、語彙-ジェスチャーの遷移をエッジとしてエンコードし、遷移と相互作用を捉える。
• GraphSAGE を適用してグラフ構造から参加者レベルの埋め込みを学習する。
• immediate neighbors（直近の近隣）と全体のグラフトポロジーの情報を統合して失語症の重症度を推定する。
• 臨床現場および遠隔環境での自動失語症評価ツールとしてフレームワークを評価する。

実験結果

リサーチクエスチョン

• RQ1 話し言葉とジェスチャーの有向多模態グラフは孤立した語彙特徴より失語症の重症度をよりよく捉えられるか。
• RQ2 ディスコースグラフの GraphSAGE ベースの埋め込みは従来の特徴と比較して重症度推定を改善するか。
• RQ3 自然発話における話し言葉とジェスチャーの相互作用は正確な失語症の重症度推定に不可欠か。

主な発見

• 失語症の重症度は孤立した語彙分布ではなく、構造化された話し言葉とジェスチャーの相互作用に符号化されているようである。
• 提案されたグラフベースのフレームワークは、ベッドサイドスクリーニングと遠隔医療モニタリングに適した信頼性の高い自動失語症評価を提供する。
• グラフニューラルネットワークの埋め込みは局所的な隣接情報と全体のグラフ構造を統合して重症度を推定する。