[논문 리뷰] UniSpeech at scale: An Empirical Study of Pre-training Method on Large-Scale Speech Recognition Dataset

Chengyi Wang, Yu Wu외 5명|arXiv (Cornell University)|2021. 07. 12.

Speech Recognition and Synthesis참고 문헌 33인용 수 9

한 줄 요약

이 논문은 65,000시간의 레이블된 영어-미국어 데이터와 155,000시간의 레이블되지 않은 데이터를 포함한 대규모 음성 인식 데이터셋에서 UniSpeech의 다중 작업 미사전학습을 사용한 자기지도 학습(SSL)의 효과를 조사한다. 다중 작업 미사전학습에서 대비 손실과 트랜스듀서 손실을 모두 사용할 경우, 도메인 외부 및 뉘앙스 있는 음성에서 성능 향상이 뚜렷하게 나타나지만, 도메인 내부 데이터에서는 SSL이 거의 이득을 주지 못함을 보여주며, 이는 레이블된 데이터가 많아질수록 SSL의 이점이 감소한다는 일반적인 믿음을 도전한다.

ABSTRACT

Recently, there has been a vast interest in self-supervised learning (SSL) where the model is pre-trained on large scale unlabeled data and then fine-tuned on a small labeled dataset. The common wisdom is that SSL helps resource-limited tasks in which only a limited amount of labeled data is available. The benefit of SSL keeps diminishing when the labeled training data amount increases. To our best knowledge, at most a few thousand hours of labeled data was used in the study of SSL. In contrast, the industry usually uses tens of thousands of hours of labeled data to build high-accuracy speech recognition (ASR) systems for resource-rich languages. In this study, we take the challenge to investigate whether and how SSL can improve the ASR accuracy of a state-of-the-art production-scale Transformer-Transducer model, which was built with 65 thousand hours of anonymized labeled EN-US data.

연구 동기 및 목표

• 대규모 레이블된 데이터가 존재할 때 자기지도 학습(SSL)이 자동 음성 인식(ASR) 성능을 향상시키는지 조사하는 것. 이는 일반적으로 SSL의 이점이 레이블된 데이터가 많아질수록 감소한다는 믿음과는 반대되는 것이다.
• 65,000시간의 익명화된 영어-미국어 데이터로 훈련된 생산 규모의 ASR 시스템에서 UniSpeech의 다중 작업 미사전학습(대비 손실과 트랜스듀서 손실의 조합)의 효과를 평가하는 것.
• SSL 미사전학습이 도메인 외부 및 뉘앙스 있는 음성에서의 강건성, 특히 스트리밍(온라인) ASR 시나리오에서의 성능 향상에 기여하는지 평가하는 것.
• 다중 작업 미사전학습과 대비 손실 전용 미사전학습을 비교하여, 대규모 환경에서 각 구성 요소의 기여도를 파악하는 것.

제안 방법

• 65,000시간의 레이블된 데이터와 155,000시간의 레이블되지 않은 음성 데이터로 구성된 220,000시간의 혼합 코퍼스를 사용하여, 대비 손실과 트랜스듀서 손실을 모두 포함한 다중 작업 미사전학습을 수행한 Transformer-Transducer 모델을 사전학습한다.
• 원래의 wav2vec 2.0 프레임워크에서 양자화기(quantizer)를 선형 투영 레이어로 대체하여 대규모 데이터에서의 훈련 안정성과 속도를 향상시킨다.
• 실시간 추론 성능을 평가하기 위해, 레이블된 데이터만을 사용하여 스트리밍 방식으로 사전학습 모델을 미세조정한다.
• 다중 작업 학습의 기여도를 분리하기 위해, 대비 손실만으로 사전학습을 수행하는 실험(트랜스듀서 손실 제거)을 통해 추론 분석(ablation study)을 수행한다.
• 입력으로 fbank 특징을 사용하고, 사전학습 중에 대비 손실과 트랜스듀서 목표 함수를 동시에 최적화한다.
• 도메인 내부(청결한, 16K Hz) 및 도메인 외부(8K Hz, 노이즈 있는, 뉘앙스 있는) 테스트 세트에서 성능을 평가하여 도메인 일반화 능력을 분석한다.

실험 결과

연구 질문

• RQ1 65,000시간의 레이블된 데이터가 존재할 때, 대규모 레이블되지 않은 데이터를 활용한 자기지도 학습 미사전학습이 여전히 ASR 정확도를 향상시키는가?
• RQ2 고자원 환경에서 다중 작업 미사전학습(대비 + 트랜스듀서 손실)이 대비 손실 전용 미사전학습보다 어떻게 비교되는가?
• RQ3 다양한 도메인 외부 레이블되지 않은 데이터로 사전학습을 수행할 경우, 저자원 또는 도메인 이동 테스트 세트에서의 강건성 향상 정도는 어느 정도인가?
• RQ4 대규모 레이블된 데이터가 존재할 때, SSL 미사전학습이 스트리밍(온라인) ASR 시스템에 효과적으로 기여할 수 있는가?

주요 결과

• 8K Hz 테스트 세트에서 UniSpeech는 상대적으로 15.17% WER 감소(23.39% vs. 27.69% 베이스라인)를 기록하여 강력한 도메인 일반화 능력을 입증했다.
• 16K Hz 테스트 세트에서는 상대적으로 8.26% WER 감소(17.76% vs. 19.36%)를 기록하여 도메인 외부 데이터에서 일관된 성능 향상을 보였다.
• 뉘앙스 있는 영어 테스트 세트에서는 상대적 개선률이 4.08%에서 7.2%에 이르며, 특히 캐나다 외부의 뉘앙스에서 가장 큰 향상을 보여, 화자 변동에 대한 강건성을 입증했다.
• 추론 분석 결과, 다중 작업 미사전학습을 제거한 경우 16K Hz 테스트 세트에서 상대 WER이 12.2% 증가했고, 8K Hz 세트에서는 19.1% 증가하여, 도메인 외부 성능 향상에 다중 작업 학습이 필수적임을 입증했다.
• 대비 손실 전용으로만 사전학습을 수행한 경우, 베이스라인보다 성능이 열악하여, 대규모 레이블된 데이터가 존재할 경우 대비 손실 전용 사전학습이 좋은 초기화를 제공하지 못함을 시사했다.
• 미세조정 중 검증용 트랜스듀서 손실이 UniSpeech에서 ablation 모델보다 유의미하게 낮게 유지되어, 공동 사전학습으로 인한 더 나은 최적화 동역학을 나타냈다.