[논문 리뷰] SpeechLM: Enhanced Speech Pre-Training with Unpaired Textual Data

Ziqiang Zhang, Sanyuan Chen외 9명|arXiv (Cornell University)|2022. 09. 30.

Speech Recognition and Synthesis인용 수 13

한 줄 요약

이 논문은 음성과 텍스트의 사전 훈련을 공유된 이산 표현 공간을 통해 음소 단위 또는 히든 유닛 토크나이저를 이용해 통합하는 SpeechLM을 제안한다. 무작위 교환 메커니즘을 통해 무쌍의 텍스트 데이터를 활용하여 마스크된 유닛 예측 및 시퀀스 재구성 작업을 수행함으로써, 음성 전용 기준 모델 대비 음성 인식 및 음성 번역 성능을 크게 향상시킨다.

ABSTRACT

How to boost speech pre-training with textual data is an unsolved problem due to the fact that speech and text are very different modalities with distinct characteristics. In this paper, we propose a cross-modal Speech and Language Model (SpeechLM) to explicitly align speech and text pre-training with a pre-defined unified discrete representation. Specifically, we introduce two alternative discrete tokenizers to bridge the speech and text modalities, including phoneme-unit and hidden-unit tokenizers, which can be trained using a small amount of paired speech-text data. Based on the trained tokenizers, we convert the unlabeled speech and text data into tokens of phoneme units or hidden units. The pre-training objective is designed to unify the speech and the text into the same discrete semantic space with a unified Transformer network. We evaluate SpeechLM on various spoken language processing tasks including speech recognition, speech translation, and universal representation evaluation framework SUPERB, demonstrating significant improvements on content-related tasks. Code and models are available at https://aka.ms/SpeechLM.

연구 동기 및 목표

• 모odal 차이로 인해 활용되지 못하는 무쌍의 텍스트 데이터를 효과적으로 활용하여 음성 사전 훈련을 향상시키는 데 도전한다.
• 효과적인 다중모달 정렬 및 표현 학습을 가능하게 하는 음성과 텍스트 모달 간의 통합 인터페이스를 설계한다.
• 음성과 텍스트를 공유된 의미 공간으로 연결하는 해석 가능하고 학습 가능한 이산 토크나이저—음소 단위 및 히든 유닛 토크나이저를 개발한다.
• 최소한의 쌍화된 데이터로도 텍스트 증강 사전 훈련이 음성 모델의 다운스트림 구두 언어 작업 성능을 크게 향상시킬 수 있음을 입증한다.

제안 방법

• 소량의 쌍화된 음성-텍스트 데이터 또는 사전에 존재하는 음소 어휘를 이용해 음성과 텍스트를 공유된 의미 공간으로 변환하는 두 가지 이산 토크나이저—음소 단위 및 히든 유닛 토크나이저를 제안한다.
• 무쌍 데이터에서 마스크된 유닛 토큰을 음성 입력으로부터 예측하는 유닛 기반 마스크 언어 모델링(UMLM)을 도입하여 무쌍 데이터에서의 자기지도 학습을 가능하게 한다.
• 마스크된 유닛 시퀀스에서 전체 텍스트 시퀀스를 재구성하기 위해 유닛 기반 커넥티스트 심플리티 분류(UCTC)를 활용하여 시퀀스 수준의 정렬을 강화한다.
• 음성과 텍스트 모달 간의 중간 표현을 무작위로 교환하여 공유된 트랜스포머 인코더에 입력하기 전에 다중모달 정렬을 향상시키는 무작위 교환 메커니즘을 적용한다.
• 공유된 이산 공간에서 양 모달을 동시에 인코딩하는 통합 트랜스포머 네트워크를 사용하여 아키텍처를 단순화하고 일반화 성능을 향상시킨다.
• UMLM과 UCTC 목표를 조합하여 엔드 투 엔드로 모델을 훈련함으로써 음성 및 텍스트 표현의 공동 최적화를 가능하게 한다.

Figure 1: SpeechLM pre-training framework, which consists of a Speech Transformer and a Shared Transformer, and equips with discrete tokenizers and the random swapping mechanism.

실험 결과

연구 질문

• RQ1 쌍화된 음성-텍스트 데이터가 상당히 필요하지 않은 채로, 무쌍의 텍스트 데이터를 효과적으로 활용하여 음성 표현 학습을 향상시킬 수 있는가?
• RQ2 음소 단위 토크나이저와 히든 유닛 토크나이저는 공유된 의미 공간에 음성과 텍스트를 통합하는 데 얼마나 효과적인가?
• RQ3 무작위 교환 메커니즘이 다중모달 정렬 및 음성 및 언어 모델링의 다운스트림 성능에 미치는 영향은 어떠한가?
• RQ4 텍스트 증강 음성 사전 훈련에서 최적의 성능을 달성하기 위해 얼마나 많은 텍스트 데이터가 필요한가?
• RQ5 공유된 이산 표현 공간을 사용할 경우, 음성 인식 및 음성 번역과 같은 다양한 구두 언어 작업에서 더 나은 일반화 성능을 달성할 수 있는가?

주요 결과

• SpeechLM는 언어 모델 없이 LibriSpeech test-other에서 9.1 WER을 기록하지만, 무작위 교환 메커니즘을 적용하면 8.1 WER으로 크게 향상되어 이는 다중모달 정렬에서의 핵심적 역할을 확인한다.
• ASR 작업에서 SpeechLM-P(음소 단위 토크나이저)와 SpeechLM-H(히든 유닛 토크나이저)의 성능은 유사하여 두 토크나이저 모두 음성과 텍스트 표현을 통합하는 데 효과적임을 시사한다.
• 40,000개 문장의 무쌍 텍스트 데이터를 사용할 경우 거의 최적의 성능를 달성하여, 상대적으로 작은 텍스트 코퍼스로도 어휘 수준의 모델링이 충분함을 시사한다.
• 쌍화된 데이터 없이 훈련된 텍스트 전용 토크나이저를 사용할 경우 성능 저하가 발생하여, 정확한 모달 정렬을 위해 쌍화된 데이터가 필수적임을 보여준다.
• 층별 시각화 결과, 공유된 트랜스포머의 깊은 층을 통과할수록 음성과 텍스트 표현이 점차 공유된 의미 공간으로 정렬됨을 확인하였다.
• 자동 음성 인식, 음성 번역, SUPERB 벤치마크를 포함한 여러 작업에서 SpeechLM는 음성 전용 기준 모델을 크게 능가하며, 강력한 일반화 및 전이 능력을 입증한다.

Figure 2: Two alternative tokenizers for speech and text, (a) Phone-unit tokenizer; (b) Hidden-unit tokenizer.