[논문 리뷰] Injecting Text in Self-Supervised Speech Pretraining

Zhehuai Chen, Yu Zhang외 4명|arXiv (Cornell University)|2021. 08. 27.

Speech Recognition and Synthesis참고 문헌 55인용 수 4

한 줄 요약

이 논문은 음성 데이터의 비음성화된 텍스트에서 합성된 음성과 비음성화된 음성 데이터를 동시에 미리 훈련함으로써 자기학습 음성 표현 학습을 향상시키는 tts4pretrain 방법을 제안한다. TTS로 생성된 음성에 보조 시퀀스 손실(예: CTC, 음소, 워드피ece)을 도입함으로써 모델은 어휘 및 음소 정보를 통합하여 LibriSpeech에서 WER을 상대적으로 10% 감소시키며, 뿐만 아니라 뿐만 아니라 100시간의 음성 데이터로 5,000시간의 음성 데이터 수준의 성능을 달성한다.

ABSTRACT

Self-supervised pretraining for Automated Speech Recognition (ASR) has shown varied degrees of success. In this paper, we propose to jointly learn representations during pretraining from two different modalities: speech and text. The proposed method, tts4pretrain complements the power of contrastive learning in self-supervision with linguistic/lexical representations derived from synthesized speech, effectively learning from untranscribed speech and unspoken text. Lexical learning in the speech encoder is enforced through an additional sequence loss term that is coupled with contrastive loss during pretraining. We demonstrate that this novel pretraining method yields Word Error Rate (WER) reductions of 10% relative on the well-benchmarked, Librispeech task over a state-of-the-art baseline pretrained with wav2vec2.0 only. The proposed method also serves as an effective strategy to compensate for the lack of transcribed speech, effectively matching the performance of 5000 hours of transcribed speech with just 100 hours of transcribed speech on the AMI meeting transcription task. Finally, we demonstrate WER reductions of up to 15% on an in-house Voice Search task over traditional pretraining. Incorporating text into encoder pretraining is complimentary to rescoring with a larger or in-domain language model, resulting in additional 6% relative reduction in WER.

연구 동기 및 목표

• 음성 데이터의 음성 전처리에서 음성 표현 학습이 비음성화된 데이터 없이 언어학적 및 음소적 구조를 포착하지 못하는 한계를 해결하기 위해.
• 비음성화된 텍스트를 음성 합성(TTS)을 통해 활용함으로써 음성 표현 학습을 향상시킬 수 있는지 탐색하기 위해.
• 하류 ASR 미세조정을 위한 대규모 음성 레이블 데이터에 대한 의존도를 줄이기 위해.
• 합성된 음성에 대해 대조 학습과 보조 ASR 스타일의 손실을 융합하는 것이 효과적인지 평가하기 위해.
• 사전 훈련 단계에서 텍스트 정보를 통합함에도 불구하고 언어 모델 융합이 여전히 보완적인 역할을 하는지 조사하기 위해.

제안 방법

• TTS 시스템을 사용해 비음성화된 텍스트에서 음성을 생성함으로써, 사전 훈련을 위한 감독 학습 유사 신호의 소스를 확보한다.
• 합성된 음성에 대해 시퀀스 수준의 목표(예: CTC, RNN-T)를 갖는 보조 디코더 헤드를 훈련시켜 텍스트 토큰(워드피ece, 음소)와의 정렬을 강제한다.
• 실제 음성과 합성된 음성에 대해 대조 손실을 적용하고, 보조 디코더에 대해 시퀀스 손실을 적용함으로써 음성 인코더를 공동 최적화한다.
• 보조 손실에 대해서만 데이터 증강(20% 시간/주파수 마스킹 + 주파수 왜곡)을 적용하며, 대조 손실에는 적용하지 않는다.
• 이 방법은 CTC, RNN-T, HAT를 포함한 다양한 ASR 아키텍처와 훈련 목표와 호환된다.
• 도메인에 맞는 텍스트(예: 검색 쿼리)를 사용해 사전 훈련을 위한 TTS 데이터를 생성함으로써 도메인 적응이 가능하다.

Fig. 1 : Proposed joint speech and text self-supervised pretraining architecture.

실험 결과

연구 질문

• RQ1 TTS로 생성된 음성을 통해 텍스트 정보를 통합하면 자기학습 음성 표현 학습이 향상되는가?
• RQ2 비음성화된 텍스트의 양이 저자원 ASR 환경에서 성능 향상에 어떤 영향을 미치는가?
• RQ3 TTS 기반 사전 훈련과 언어 모델 융합을 융합하면 WER 향상에 추가로 기여하는가?
• RQ4 보조 디코더 목표의 선택(예: CTC 대비 RNN-T)이 학습 효율성에 어떤 영향을 미치는가?
• RQ5 tts4pretrain는 하류 ASR 미세조정을 위한 대규모 음성 레이블 데이터의 필요성을 줄일 수 있는가?

주요 결과

• tts4pretrain는 실음성 음성만을 사용해 사전 훈련한 wav2vec2.0 대비 LibriSpeech 테스트 세트에서 WER을 상대적으로 10% 감소시킨다.
• AMI 미팅 음성 전사 작업에서 100시간의 레이블 음성 데이터만을 사용해 5,000시간의 레이블 음성 데이터 수준의 성능을 달성한다.
• 100만 개의 TTS로 생성된 발화문을 사용하면 WER이 상대적으로 6.8% 감소하며, 1억 개를 초과해도 수익 감소 현상이 나타난다.
• 가장 뛰어난 성능은 CTC 기반 디코더 헤드에서 달성되었으며, 더 나은 정렬 특성 덕분에 RNN-T를 능가한다.
• 도메인에 맞는 텍스트(예: 검색 쿼리)를 사용해 TTS 사전 훈련을 수행하면 내부 음성 검색 작업에서 WER이 6.2%로 감소하며, 일반 텍스트 소스보다 뛰어난 성능을 보였다.
• 언어 모델 융합은 tts4pretrain와 결합했을 때 추가로 6% 상대적 WER 감소를 이끌어내어, 그 보완성이 확인되었다.