[논문 리뷰] Multi-Modal Detection of Alzheimer's Disease from Speech and Text

Amish Mittal, Sourav Sahoo외 4명|arXiv (Cornell University)|2020. 11. 30.

Voice and Speech Disorders참고 문헌 49인용 수 9

한 줄 요약

이 논문은 전이 학습을 사용하여 음성과 텍스트 전사 자료를 융합하는 다중모달 딥러닝 프레임워크를 제안하며, Dementiabank Pitt 코퍼스에서 알츠하이머병(AD)을 85.3%의 정확도로 탐지한다. 이 방법은 음성 임베딩에 대해 CNN을, 텍스트에 대해 BERT-CNN 융합을 사용하며 예측을 조기에 또는 후기에 융합하여 구현한다. 또한 음성 인식기(ASR)로 생성된 전사 자료를 사용할 경우에도 강건한 성능을 보이며, 78.8%의 정확도를 기록한다.

ABSTRACT

Reliable detection of the prodromal stages of Alzheimer's disease (AD) remains difficult even today because, unlike other neurocognitive impairments, there is no definitive diagnosis of AD in vivo. In this context, existing research has shown that patients often develop language impairment even in mild AD conditions. We propose a multimodal deep learning method that utilizes speech and the corresponding transcript simultaneously to detect AD. For audio signals, the proposed audio-based network, a convolutional neural network (CNN) based model, predicts the diagnosis for multiple speech segments, which are combined for the final prediction. Similarly, we use contextual embedding extracted from BERT concatenated with a CNN-generated embedding for classifying the transcript. The individual predictions of the two models are then combined to make the final classification. We also perform experiments to analyze the model performance when Automated Speech Recognition (ASR) system generated transcripts are used instead of manual transcription in the text-based model. The proposed method achieves 85.3% 10-fold cross-validation accuracy when trained and evaluated on the Dementiabank Pitt corpus.

연구 동기 및 목표

• 음성과 텍스트 전사 자료를 활용한 조기 알츠하이머병 탐지용 엔드 투 엔드 다중모달 딥러닝 시스템을 개발하는 것.
• 데이터 부족 문제를 해결하기 위해 전이 학습의 효과성을 평가하는 것.
• 실제 구현을 위해 수동 전사 자료 대신 음성 인식기(ASR)로 생성된 전사 자료를 사용할 수 있는지의 타당성을 평가하는 것.
• 모델 성능에 영향을 미칠 수 있는 연령과 성별과 관련된 디모그라픽 편향을 분석하는 것.
• 다양한 다중모달 융합 전략을 비교하고 알츠하이머병 탐지에 최적의 음성 및 텍스트 특징 조합을 규명하는 것.

제안 방법

• 다양한 음성 세그먼트를 처리하는 CNN 기반 음성 네트워크가 진단 예측을 위한 음향 임베딩을 추출한다.
• 텍스트 특징는 BERT 임베딩에 CNN으로 생성된 임베딩을 연결하여 문맥적 및 문법적 분석을 수행한다.
• 음성 및 텍스트 브랜치에서 도출된 개별 예측을 후기 융합을 통해 조합하여 최종 분류를 도출한다.
• 데이터 부족 문제를 완화하기 위해 음성 및 텍스트 모델에 전이 학습을 적용하여 사전 학습된 표현을 활용한다.
• 수동 전사 자료와 ASR로 생성된 전사 자료를 모두 사용하여 Dementiabank Pitt 코퍼스에서 10겹 교차검증을 수행한다.
• 연령군(86–95세)과 성별에 따라 편향 분석을 수행하며, 특이도, 민감도 및 정확도의 격차를 평가한다.

실험 결과

연구 질문

• RQ1 음성과 텍스트를 융합한 다중모달 딥러닝 모델이 단모달 접근 방식보다 알츠하이머병 탐지 정확도를 향상시킬 수 있는가?
• RQ2 전이 학습이 제한된 알츠하이머병 데이터셋에서 모델 성능을 향상시키는 데 얼마나 효과적인가?
• RQ3 ASR로 생성된 전사 자료가 수동 전사 자료와 비교해 성능 저하 없이 얼마나 잘 대체될 수 있는가?
• RQ4 모델이 특정 연령군이나 성별에 대해 편향을 보이는가?
• RQ5 다중모달 알츠하이머병 탐지에서 음성 및 텍스트 특징을 융합하는 최적의 전략은 무엇인가?

주요 결과

• 제안된 다중모달 모델은 Dementiabank Pitt 코퍼스의 수동 전사 자료를 사용해 훈련 및 테스트한 결과 85.3%의 정확도와 84.4%의 F1 스코어를 기록한다.
• ASR로 생성된 전사 자료를 사용할 경우 78.8%의 정확도와 78.2%의 F1 스코어를 기록하여 전사 오류가 존재하더라도 실용적인 타당성을 입증한다.
• 86–95세 연령군에서는 작은 표본 크기와 AD와 무관한 음성 장애가 겹쳐져 정확도가 낮아(70.0%)지는 경향을 보였다.
• 성별 편향은 유의미하지 않지만, 남성 참가자 수가 적고 여성의 기저 알츠하이머병 유병률이 높기 때문에 남성에서 탐지 정확도가 낮게 나타났다.
• 짧은 음성 세그먼트와 수동 전사 자료를 사용할 경우를 제외한 모든 설정에서 개별 음성 및 텍스트 모델보다 성능이 뛰어났다.
• 채움어 및 의미 불일치와 같은 언어적 표지가 있는 세그먼트에서는 ASR 오류가 존재하더라도 AD 양성 사례를 높은 신뢰도(0.8 초과)로 예측한다.