[논문 리뷰] Exploring Multimodal Approaches for Alzheimer's Disease Detection Using Patient Speech Transcript and Audio Data

Hongmin Cai, Xiaoke Huang외 9명|arXiv (Cornell University)|2023. 07. 05.

Mental Health via Writing인용 수 7

한 줄 요약

이 연구는 환자의 음성 녹취록과 음성 데이터를 활용하여 알츠하이머병(AD) 검출을 위한 다중모달 프레임워크를 제안한다. BERT, 그래프 신경망(GNN), WavLM을 사용해 특징을 추출하며, 음성과 TTS(TTS 생성 음성) 간의 정렬을 위한 CLIPPO 유사 대비 학습 방법을 도입하여 DementiaBank Pitt 데이터셋에서 최고의 정확도 84.84%를 달성하였다. 이는 단모달 및 표준 다중모달 융합 방법을 능가한다.

ABSTRACT

Alzheimer's disease (AD) is a common form of dementia that severely impacts patient health. As AD impairs the patient's language understanding and expression ability, the speech of AD patients can serve as an indicator of this disease. This study investigates various methods for detecting AD using patients' speech and transcripts data from the DementiaBank Pitt database. The proposed approach involves pre-trained language models and Graph Neural Network (GNN) that constructs a graph from the speech transcript, and extracts features using GNN for AD detection. Data augmentation techniques, including synonym replacement, GPT-based augmenter, and so on, were used to address the small dataset size. Audio data was also introduced, and WavLM model was used to extract audio features. These features were then fused with text features using various methods. Finally, a contrastive learning approach was attempted by converting speech transcripts back to audio and using it for contrastive learning with the original audio. We conducted intensive experiments and analysis on the above methods. Our findings shed light on the challenges and potential solutions in AD detection using speech and audio data.

연구 동기 및 목표

• 환자의 음성과 녹취록을 활용한 저비용, 비침습적 조기 알츠하이머병(AD) 검출 진단 방법 개발
• AD 연구에서의 작은 데이터셋 크기 문제를 효과적인 데이터 증강 기법을 통해 해결
• 텍스트 및 음성 특징의 다중모달 융합을 통해 AD 분류 성능 향상 탐색
• TTS로 생성된 음성과의 대비 학습이 AD 환자 음성 패턴 이해에 모델 성능 향상에 기여하는지 조사
• 다양한 환자 데이터를 활용한 향후 다중모달 AD 검출 시스템의 기반 제공

제안 방법

• BERT 임베딩과 그래프 컬러이션 네트워크를 활용해 전사된 음성에서 구조적 언어적 특징을 추출하기 위해 GNN 기반 방법(AD-GNN) 개발
• 학습 데이터 다양성 향상과 클래스 불균형 완화를 위해 동의어 교체, 문장 삭제, GPT-3.5 기반 생성과 같은 데이터 증강 기법 적용
• 자기학습형 사전 훈련된 음성 표현 모델인 WavLM을 사용해 음성 특징 추출
• 직접 연결, 크로스 네트워크 어텐션, 그리고 원시 음성과 TTS 생성 음성 간의 정렬을 위한 CLIPPO 유사 대비 학습 프레임워크를 활용한 다중모달 융합 수행
• CLIPPO 유사 방법은 원시 음성과 합성 음성 간의 공동 임베딩 학습을 가능하게 하여 사전 훈련된 언어 모델에 의존하지 않고도 의미적 정렬을 향상시킨다.
• DementiaBank Pitt 데이터셋에서 단모달(텍스트, 음성) 및 다양한 융합 전략을 적용한 다중모달 접근법을 비교하기 위해 광범위한 실험 수행

Figure 1 : Basic framework of our four methods.

실험 결과

연구 질문

• RQ1 전사된 음성에서 유도된 그래프 구조적 언어적 특징은 기존 NLP 모델 대비 AD 검출 정확도 향상에 기여하는가?
• RQ2 다양한 데이터 증강 기법은 작은 AD 데이터셋에서 모델 일반화 능력 향상에 얼마나 효과적인가?
• RQ3 텍스트 및 음성 특징의 다중모달 융합이 AD 검출 성능 향상에 뚜렷한 기여를 하는가?
• RQ4 원시 음성과 TTS 생성 음성 간의 대비 학습이 AD 검출을 위한 표현 학습 향상에 기여하는가?
• RQ5 다중모달 융합의 성능 향상 요인이 주로 강력한 모달(텍스트)에 기인하는가, 아니면 음성이 의미 있는 기여를 하는가?

주요 결과

• 텍스트 전용 모델이 84.60%의 최고 정확도를 기록하며, 음성 전용 모델(77.14%)을 크게 앞서며 언어적 특징이 AD 검출에 더 구분력이 있음을 시사한다.
• CLIPPO 유사 대비 학습 방법이 전체적으로 가장 높은 정확도 84.84%를 달성하여, 원시 음성과 TTS 음성 간의 정렬이 사전 훈련된 언어 모델 없이도 모델 성능 향상에 기여함을 입증하였다.
• 직접 연결(84.75%) 및 크로스 네트워크 어텐션(84.18%)을 통한 다중모달 융합 결과는 텍스트 전용 기준선과 거의 동일하여, 모델이 강력한 텍스트 모달에 과도하게 의존하고 있음을 시사한다.
• GPT-3.5 및 RoBERTa 기반 증강기법은 의미 보존 부족과 AD 환자 특유의 말하기 스타일 불일치로 인해 성능 향상이 제한적이었다.
• WavLM 모델의 음성 성능은 다소 열악했으며, 이는 AD 환자 음성에 대한 사전 훈련이 부족했기 때문일 것으로 보이며, 도메인 특화된 음성 표현 학습의 필요성을 시사한다.
• 이 연구는 음성 데이터가 유용한 정보를 담고 있음에도 불구하고 높은 차원성과 배경 잡음으로 인해 성능이 제한되며, 효과적인 융합을 위해서는 철저한 아키텍처 설계가 필요함을 확인하였다.

Figure 2 : The framework of AD-GNN.