[논문 리뷰] Improved End-to-End Dysarthric Speech Recognition via Meta-learning Based Model Re-initialization

Disong Wang, Jianwei Yu외 4명|arXiv (Cornell University)|2020. 11. 03.

Speech Recognition and Synthesis참고 문헌 29인용 수 6

한 줄 요약

이 논문은 제한된 데이터로 비어음 말하기를 가진 환자에게 적합하도록 사전 훈련된 기본 모델을 비정상 말하기 스타일에 적응시키기 위해 메타학습 기반 모델 재초기화 방법을 제안한다. MAML과 Reptile를 확장하여 다양한 비어음 말하기 환자에 대한 빠른 적응을 시뮬레이션함으로써, 재초기화된 모델은 기본 모델 대비 54.2%의 상대적 단어 오류율 감소를 달성했으며, UASpeech 데이터셋에서 최신의 하이브리드 DNN-HMM 성능과 동등한 성능을 보였다.

ABSTRACT

Dysarthric speech recognition is a challenging task as dysarthric data is limited and its acoustics deviate significantly from normal speech. Model-based speaker adaptation is a promising method by using the limited dysarthric speech to fine-tune a base model that has been pre-trained from large amounts of normal speech to obtain speaker-dependent models. However, statistic distribution mismatches between the normal and dysarthric speech data limit the adaptation performance of the base model. To address this problem, we propose to re-initialize the base model via meta-learning to obtain a better model initialization. Specifically, we focus on end-to-end models and extend the model-agnostic meta learning (MAML) and Reptile algorithms to meta update the base model by repeatedly simulating adaptation to different dysarthric speakers. As a result, the re-initialized model acquires dysarthric speech knowledge and learns how to perform fast adaptation to unseen dysarthric speakers with improved performance. Experimental results on UASpeech dataset show that the best model with proposed methods achieves 54.2% and 7.6% relative word error rate reduction compared with the base model without finetuning and the model directly fine-tuned from the base model, respectively, and it is comparable with the state-of-the-art hybrid DNN-HMM model.

연구 동기 및 목표

• 제한된 비어음 말하기 음성 데이터와 정상 말하기 및 비어음 말하기 음성 간의 분포 이탈 문제를 해결하기 위해.
• 소수의 예시를 이용한 적응을 통해 비어음 말하기 환자 대상의 엔드 투 엔드 음성 인식 성능을 향상시키기 위해.
• 사전 훈련된 기본 모델을 재초기화하여 새로운 비어음 말하기 환자에게 보다 잘 일반화될 수 있도록 메타학습 프레임워크를 개발하기 위해.
• 표준 미세조정보다 우수하고, 최신의 하이브리드 DNN-HMM 시스템과 동등한 성능을 달성하기 위해.

제안 방법

• 다양한 비어음 말하기 환자에 대한 빠른 적응을 시뮬레이션하기 위해 모델에 종속되지 않는 메타학습(MAML) 및 Reptile 알고리즘을 확장하여 기본 모델을 메타학습함.
• 각 메타업데이트가 단일 비어음 말하기 환자 데이터에 대한 미세조정을 시뮬레이션하는 소수의 예시 학습 설정을 사용함.
• 새로운 비어음 말하기 환자에 대해 최소한의 데이터로 신속히 적응할 수 있도록 기본 모델의 초기화를 반복적으로 메타업데이트함.
• 엔드 투 엔드 ASR 모델을 기본 모델로 활용하며, 표준적인 미세조정 대신 메타최적화된 초기화를 통해 미세조정함.
• 메타학습된 초기화를 시퀀스 투 시퀀스 모델에 적용하여 엔드 투 엔드 자동 음성 인식을 수행함.
• 검증 손실을 한 번 또는 몇 번의 적응 단계 이후 최소화하는 메타학습 목표를 사용함.

실험 결과

연구 질문

• RQ1 표준적인 미세조정과 비교해 메타학습 기반의 모델 재초기화가 엔드 투 엔드 비어음 말하기 음성 인식 성능을 향상시킬 수 있는가?
• RQ2 메타학습된 초기화가 제한된 데이터로 새로운 비어음 말하기 환자에 대해 더 신속하고 효과적으로 적응할 수 있는가?
• RQ3 이러한 방법은 미세조정을 하지 않은 강력한 베이스라인 모델과 최신의 하이브리드 DNN-HMM 시스템에 비해 성능에서 어떻게 비교되는가?
• RQ4 메타학습이 정상 말하기와 비어음 말하기 음성 간의 분포 이탈 문제를 어느 정도 완화하는가?

주요 결과

• 제안된 방법은 UASpeech 데이터셋에서 미세조정을 하지 않은 기본 모델 대비 54.2%의 상대적 단어 오류율 감소를 달성함.
• 기본 모델에서 직접 미세조정한 모델 대비 7.6%의 상대적 단어 오류율 감소를 보임.
• 메타학습된 모델은 동일한 벤치마크에서 최신의 하이브리드 DNN-HMM 시스템과 동등한 성능을 달성함.
• 재초기화된 모델은 향상된 신속한 적응 능력 덕분에 새로운 비어음 말하기 환자에게 더 잘 일반화됨.
• 메타학습은 정상 말하기와 비어음 말하기 음성 간의 분포 이탈 영향을 효과적으로 감소시킴.