[논문 리뷰] On-Device Personalization of Automatic Speech Recognition Models for Disordered Speech

Katrin Tomanek, Françoise Beaufays외 3명|arXiv (Cornell University)|2021. 06. 18.

Speech Recognition and Synthesis참고 문헌 31인용 수 11

한 줄 요약

이 논문은 개인의 비정상적 어조를 가진 말에 특화된 자동 음성 인식(ASR) 모델을 스마트폰에서만 사용하여, 각 사용자당 50개의 짧은 문장만으로도 개인화하는 방법을 제시한다. 사전에 조정된 기반 모델을 직접 스마트폰에서 미세조정함으로써, 단어 오류율(WER)의 중앙값을 71% 감소시키고, 음성 제어 홈 오토메이션 작업의 성공률을 40%에서 81%로 끌어올렸으며, 개인의 음성 데이터를 서버에 업로드하지 않아도 된다.

ABSTRACT

While current state-of-the-art Automatic Speech Recognition (ASR) systems achieve high accuracy on typical speech, they suffer from significant performance degradation on disordered speech and other atypical speech patterns. Personalization of ASR models, a commonly applied solution to this problem, is usually performed in a server-based training environment posing problems around data privacy, delayed model-update times, and communication cost for copying data and models between mobile device and server infrastructure. In this paper, we present an approach to on-device based ASR personalization with very small amounts of speaker-specific data. We test our approach on a diverse set of 100 speakers with disordered speech and find median relative word error rate improvement of 71% with only 50 short utterances required per speaker. When tested on a voice-controlled home automation platform, on-device personalized models show a median task success rate of 81%, compared to only 40% of the unadapted models.

연구 동기 및 목표

• 일반적인 ASR 모델이 비정상적 어조를 가진 말, 특히 이완성 마비, 입열결함 또는 심한 말장애를 가진 환자에게서 낮은 성능을 보이는 문제를 해결하기 위해.
• 사용자 개인정보를 보호하기 위해 서버로의 데이터 전송 없이도 디바이스 내에서 개인화를 가능하게 하기 위해.
• 모델 적응을 스마트폰 디바이스에서 현지적으로 수행함으로써 학습 시간과 통신 비용을 줄이기 위해.
• 실제 음성 제어 애플리케이션에서 최소한의 데이터(최소 50개의 문장)로도 디바이스 내 학습의 효과를 평가하기 위해.
• 실시간 모델 업데이트를 가능하게 하고 수동으로 전사 보정을 줄임으로써 데이터 수집 과정에서 사용자 경험을 향상시키기 위해.

제안 방법

• 디바이스 내 추론에 최적화된 수정된 RNN-T 아키텍처를 사용하며, 8개의 LSTM 인코더 레이어와 2개의 언어 모델 레이어를 포함하고, 매 30ms마다 128차원의 로그 멜 스펙트럼 특징을 처리한다.
• 두 단계의 적응 전략을 사용한다: 첫째, 다양한 비정상적 어조의 말 데이터로 사전에 훈련된 기반 모델을 시작점으로 사용하고, 둘째, 과적합을 방지하기 위해 첫 5개의 인코더 레이어만을 디바이스 내에서 미세조정한다.
• 디바이스 내 학습은 반복적으로 수행되며, 매 5개의 문장 이후에 피드백 루프를 통해 사용자가 전사를 수정한 후 저장함으로써 연속적인 모델 업데이트를 가능하게 한다.
• 효율적인 디바이스 내 추론과 학습을 위해 압축된 작고 경량의 모델을 사용하며, 세션 간에 모델 체크포인트를 저장하고 다시 불러온다.
• 기반 ASR 모델을 광범위한 비정상적 어조 말 데이터로 미세조정하여 사전에 적응된 기반 모델을 생성함으로써, 사용자별 적응 이전의 초기 정확도를 향상시킨다.
• 배터리 효율적이고 메모리 부담이 적은 방식으로 설계된 학습 과정은 매 5개 문장의 배치 이후에 모델 업데이트를 트리거하여 사용자 대기 시간을 최소화한다.

실험 결과

연구 질문

• RQ1 50개의 짧은 문장만으로도 디바이스 내에서 ASR 모델의 개인화가 비정상적 어조를 가진 말의 인식 정확도를 크게 향상시킬 수 있는가?
• RQ2 연속적인 업데이트(매 5개 문장 이후에 모델을 업데이트)를 통해 단일 배치 학습 대비 전사 보정에 필요한 사용자 노력이 줄어드는가?
• RQ3 일반적인 말 데이터로 훈련된 기반 모델에서 시작하는 것과 비교해, 비정상적 어조 말에 사전 적응된 기반 모델을 사용할 경우 WER 감소와 학습 효율성 측면에서 어떤 차이가 있는가?
• RQ4 디바이스 내 개인화가 실생활 응용, 예를 들어 음성 제어 홈 오토메이션의 성공률 향상에 어느 정도 기여하는가?
• RQ5 심한 말장애가 있는 사용자들이 실질적으로 디바이스 내 개인화를 효과적으로 활용할 수 있으며, 전사 정확도 향상이 측정 가능한 정도로 이루어지는가?

주요 결과

• 50개의 문장만으로도 디바이스 내 개인화를 수행함으로써, 일반적인 말 데이터로 훈련된 기반 모델 대비 중앙값 단어 오류율(WER)이 71% 감소하였다.
• 음성 제어 홈 오토메이션 작업의 중앙값 성공률은 기반 모델(미적응 모델)의 40%에서 디바이스 내 개인화 모델로 81%로 상승하였다.
• 매 5개 문장 이후에 모델을 업데이트하는 연속적 학습 방식은 단일 배치 학습 대비 훈련 데이터의 중앙값 WER을 27% 감소시켰으며, 특히 중등도 말장애가 있는 환자에서 가장 큰 효과(31%)를 보였다.
• 기반 모델을 사용할 경우 중앙값 WER가 26.2에서 15.2로 감소하여, 데이터 수집 과정에서 전사 보정이 필요한 양이 42% 감소하였다.
• 심한 말장애가 있는 환자(청각 장애가 있는 환자)를 대상으로 실생활 테스트를 수행한 결과, 디바이스 내 학습 후 전사 정확도가 기반 모델의 48%에서 63%로 향상되었다.
• 기록 및 50개 문장의 학습을 포함한 전체 과정은 스마트폰에서 1시간 이내에 완료되었으며, 각 학습 라운드는 4~5분이 소요되었다.