[논문 리뷰] Enriching Complex Networks with Word Embeddings for Detecting Mild Cognitive Impairment from Speech Transcripts

Leandro Borges dos Santos, Edilson A. Corrêa외 4명|arXiv (Cornell University)|2017. 01. 01.

Topic Modeling참고 문헌 29인용 수 9

한 줄 요약

이 논문은 말투를 복잡한 네트워크로 모델링하고 어휘 임베딩을 통합하여 의미적 표현을 향상시키는 새로운 방법, 복잡한 네트워크를 어휘 임베딩으로 강화한(CNE) 방법을 제안한다. 이는 말투에서 경도 인지 장애(MCI)를 탐지하기 위한 것이다. CNE는 두 데이터셋(DementiaBank 및 Cinderella)에서 기존의 Bag-of-Words(BoW) 및 언어적 특징 기반 접근법보다 높은 정확도를 보이며, 대규모 MCI 스크리닝에 있어 높은 잠재력을 보여주었다.

ABSTRACT

Mild Cognitive Impairment (MCI) is a mental disorder difficult to diagnose.Linguistic features, mainly from parsers, have been used to detect MCI, but this is not suitable for large-scale assessments.MCI disfluencies produce nongrammatical speech that requires manual or high precision automatic correction of transcripts.In this paper, we modeled transcripts into complex networks and enriched them with word embedding (CNE) to better represent short texts produced in neuropsychological assessments.The network measurements were applied with well-known classifiers to automatically identify MCI in transcripts, in a binary classification task.A comparison was made with the performance of traditional approaches using Bag of Words (BoW) and linguistic features for three datasets: DementiaBank in English, and Cinderella and Arizona-Battery in Portuguese.Overall, CNE provided higher accuracy than using only complex networks, while Support Vector Machine was superior to other classifiers.CNE provided the highest accuracies for Dementia-Bank and Cinderella, but BoW was more efficient for the Arizona-Battery dataset probably owing to its short narratives.The approach using linguistic features yielded higher accuracy if the transcriptions of the Cinderella dataset were manually revised.Taken together, the results indicate that complex networks enriched with embedding is promising for detecting MCI in large-scale assessments.1 talkbank.org/DementiaBank/

연구 동기 및 목표

• 말투에서 대규모 자동 경도 인지 장애(MCI) 탐지를 해결하기 위한 목표.
• 불순한, 문법적으로 잘못된 말투에서 의미적 뉘앙스를 포착하는 데에 한계가 있는 전통적인 언어적 파싱 및 Bag-of-Words(BoW) 모델의 한계를 극복하기 위한 목표.
• 어휘 임베딩을 복잡한 네트워크 구조에 통합하여 짧고 손상된 말투의 표현을 향상시키기 위한 목표.
• CNE의 성능을 BoW 및 언어적 특징 기반 기준 모델과 비교하여 다국어 데이터셋에서 평가하기 위한 목표.

제안 방법

• 단어를 노드로, 단어 공존 관계를 간선으로 간주하여 말투를 복잡한 네트워크로 모델링하였다.
• 어휘 임베딩(예: Word2Vec 또는 유사한 것들)을 사용하여 네트워크 노드에 조밀한 의미 표현을 부여하였다.
• 네트워크 측정치(예: 중심성, 군집 계수, 중간성)를 특징 벡터로 추출하였다.
• 이 특징들은 표준 분류기들에 입력되었으며, 서포트 벡터 머신(SVM)이 가장 뛰어난 성능을 보였다.
• 세 가지 데이터셋에서 평가가 이루어졌는데, DementiaBank(영어), Cinderella(포르투갈어), Arizona-Battery(포르투갈어)였다.
• 성능은 BoW 및 언어적 특징 기반 기준 모델과 비교되었으며, 언어적 특징을 위해 Cinderella 데이터셋에 수동 수정이 적용되었다.

실험 결과

연구 질문

• RQ1 어휘 임베딩으로 강화된 복잡한 네트워크가 기존 방법에 비해 말투에서 경도 인지 장애(MCI) 탐지 성능을 향상시키는가?
• RQ2 CNE 접근법은 다양한 언어적 및 임상 데이터셋에서 BoW 및 언어적 특징 기반 모델에 비해 어떻게 성능을 내는가?
• RQ3 말투의 수동 보정이 언어적 특징 기반 모델의 MCI 탐지 성능을 향상시키는가?
• RQ4 CNE 접근법은 다양한 길이의 말투와 언어적 특성을 지닌 다양한 데이터셋에 대해 강건한가?

주요 결과

• CNE는 DementiaBank(영어) 및 Cinderella(포르투갈어) 데이터셋에서 BoW 및 언어적 특징보다 가장 높은 정확도를 기록하였다.
• Arizona-Battery 데이터셋은 더 짧은 서술을 포함하고 있어 BoW가 CNE를 초월하여 성능을 냈으며, 이는 효과가 맥락에 따라 달라질 수 있음을 시사한다.
• 테스트된 분류기들 중에서 서포트 벡터 머신(SVM)이 가장 효과적인 성능을 보였으며, 모든 데이터셋에서 다른 모델들을 능가했다.
• Cinderella 데이터셋에서 말투의 수동 보정이 언어적 특징 기반 모델의 정확도를 크게 향상시켰다.
• 어휘 임베딩을 복잡한 네트워크에 통합함으로써, MCI에서 흔히 나타나는 불순하고 문법적으로 잘못된 말투의 의미 표현이 향상되었다.
• 전반적으로 CNE는 임상 및 대규모 환경에서 확장 가능한 자동 MCI 탐지에 강력한 잠재력을 보여주었다.