[논문 리뷰] Exploiting Pre-Trained ASR Models for Alzheimer's Disease Recognition Through Spontaneous Speech

Ying Qin, Wei Liu외 5명|arXiv (Cornell University)|2021. 10. 04.

Speech Recognition and Synthesis참고 문헌 38인용 수 9

한 줄 요약

이 논문은 수동 음성 전사가 필요 없이 자연스러운 말하기를 통해 알츠하이머병(AD) 진단을 위한 경량형 엔드 투 엔드 프레임워크를 제안한다. 사전 훈련된 ASR 모델(예: Wav2vec2.0 및 CTC-attention)의 하단 레이어만 미세조정하여, 음성 인식 기반의 분류기와 직접 통합함으로써 장시간 음성에서 83.2%의 정확도와 단시간 음성에서 78.0%의 정확도를 달성한다. 이는 수동 전사 기반 RoBERTa 모델보다 정확도가 4.6% 높으며, 성능 향상을 이룬다.

ABSTRACT

Alzheimer's disease (AD) is a progressive neurodegenerative disease and recently attracts extensive attention worldwide. Speech technology is considered a promising solution for the early diagnosis of AD and has been enthusiastically studied. Most recent works concentrate on the use of advanced BERT-like classifiers for AD detection. Input to these classifiers are speech transcripts produced by automatic speech recognition (ASR) models. The major challenge is that the quality of transcription could degrade significantly under complex acoustic conditions in the real world. The detection performance, in consequence, is largely limited. This paper tackles the problem via tailoring and adapting pre-trained neural-network based ASR model for the downstream AD recognition task. Only bottom layers of the ASR model are retained. A simple fully-connected neural network is added on top of the tailored ASR model for classification. The heavy BERT classifier is discarded. The resulting model is light-weight and can be fine-tuned in an end-to-end manner for AD recognition. Our proposed approach takes only raw speech as input, and no extra transcription process is required. The linguistic information of speech is implicitly encoded in the tailored ASR model and contributes to boosting the performance. Experiments show that our proposed approach outperforms the best manual transcript-based RoBERTa by an absolute margin of 4.6% in terms of accuracy. Our best-performing models achieve the accuracy of 83.2% and 78.0% in the long-audio and short-audio competition tracks of the 2021 NCMMSC Alzheimer's Disease Recognition Challenge, respectively.

연구 동기 및 목표

• 비용이 많이 들고 오류가 발생하기 쉬운 수동 전사에 의존하는 전사 기반 알츠하이머병(AD) 진단 시스템의 한계를 해결한다.
• 특히 AD 환자에서의 비표준 말하기 특성으로 인해 실제 음향 환경에서 자동 음성 인식(ASR) 성능이 저하되는 문제를 해결한다.
• 청취자나 프로소디 등 음성적 특징 외에 사전 훈련된 ASR 모델에 포함된 언어적 정보를 활용하여 AD 진단 성능을 향상시킨다.
• ASR 인코더와 분류 헤드를 동시에 최적화하여 더 나은 성능과 강건성을 확보하는 경량형 엔드 투 엔드 프레임워크를 개발한다.
• 사전 훈련된 ASR 모델 내에 포함된 언어 특화 언어 표현이 효과적인 최종 AD 진단에 필수적임을 입증한다.

제안 방법

• 사전 훈련된 ASR 모델(Wav2vec2.0 및 CTC-attention)의 하단 레이어만 유지하여 음성 표현을 추출한다.
• 원래의 무거운 BERT 유사 백엔드 분류기를 단순한 완전 연결 신경망으로 대체하여 엔드 투 엔드 훈련을 가능하게 한다.
• 중간 전사 없이 원시 음성 입력을 사용하여 전체 모델을 엔드 투 엔드로 훈련한다.
• 자기지도 학습(wav2vec2.0) 및 지도 학습(CTC-attention) ASR 모델을 작업 특화 미세조정을 통해 특징 추출기로 활용한다.
• 다음으로 AD 진단 작업에 적합하도록 ASR 인코더와 분류기를 함께 미세조정한다.
• 일반화 성능 향상을 위해 데이터 증강 및 클래스 균형 기법을 적용한다.

실험 결과

연구 질문

• RQ1 수동 전사 없이 사전 훈련된 ASR 모델을 엔드 투 엔드 알츠하이머병 진단에 효과적으로 미세조정할 수 있는가?
• RQ2 사전 훈련된 ASR 모델에서 추출한 언어적 정보를 활용할 경우, 오직 음성 또는 전사 기반 기준 모델 대비 AD 진단 성능이 향상되는가?
• RQ3 엔드 투 엔드 ASR 기반 모델의 성능은 RoBERTa와 같은 최신 전사 기반 모델과 비교해 어떻게 되는가?
• RQ4 언어 특화 사전 훈련된 ASR 모델(예: 중국어 대비 영어)을 사용할 경우 최종 AD 진단 성능에 어떤 영향을 미치는가?
• RQ5 모델 아키텍처(예: Wav2vec2.0 대비 CTC-attention)와 미세조정 전략이 장시간 및 단시간 음성 세그먼트에서의 인식 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 엔드 투 엔드 방법은 2021년 NCMMSC AD 인식 챌린지에서 장시간 음성 트랙에서 83.2%의 정확도, 단시간 음성 트랙에서 78.0%의 정확도를 달성하였다.
• 이 모델은 최고의 전사 기반 RoBERTa 모델보다 정확도가 절대적으로 4.6% 높아, 엔드 투 엔드 ASR 미세조정의 우수성을 입증한다.
• Wav2vec2.0_3-2 모델은 장시간 음성에서 가장 높은 정확도(83.2%)를 기록했고, Joint CTC-attention 모델은 단시간 음성에서 78.0%의 정확도를 달성하여 짧은 말하기 지속 시간에 대한 더 높은 강건성을 보였다.
• 혼동 행렬 분석 결과, AD 환자는 가장 자주 건강한 대조군으로 잘못 분류되었으며, 이는 초기 단계의 AD와 정상 말하기를 구분하는 데 어려움이 있음을 시사한다.
• 이 연구는 사전 훈련된 ASR 모델에 포함된 언어적 내용이 단순히 부언적 또는 음성적 특징만을 사용하는 것보다 AD 진단에 더 유용하다는 것을 확인한다.
• 언어 특화 사전 훈련(예: 중국어)을 통해 ASR 인코더를 미세조정하면 최종 성능 향상이著명하게 향상되며, 언어 표현 품질의 중요성을 입증한다.