[논문 리뷰] SLAM: A Unified Encoder for Speech and Language Modeling via Speech-Text Joint Pre-Training

Ankur Bapna, Yu-An Chung외 8명|arXiv (Cornell University)|2021. 10. 20.

Topic Modeling참고 문헌 60인용 수 50

한 줄 요약

SLAM은 자가 감독 학습 및 정렬 손실을 사용하여 음성과 텍스트를 공동으로 사전 학습하기 위해 단일 인코더를 훈련시키며, 음성 번역을 개선하는 것을 목표로 하지만 교차 모달 간 간섭과 용량 한계를 조사한다.

ABSTRACT

Unsupervised pre-training is now the predominant approach for both text and speech understanding. Self-attention models pre-trained on large amounts of unannotated data have been hugely successful when fine-tuned on downstream tasks from a variety of domains and languages. This paper takes the universality of unsupervised language pre-training one step further, by unifying speech and text pre-training within a single model. We build a single encoder with the BERT objective on unlabeled text together with the w2v-BERT objective on unlabeled speech. To further align our model representations across modalities, we leverage alignment losses, specifically Translation Language Modeling (TLM) and Speech Text Matching (STM) that make use of supervised speech-text recognition data. We demonstrate that incorporating both speech and text data during pre-training can significantly improve downstream quality on CoVoST~2 speech translation, by around 1 BLEU compared to single-modality pre-trained models, while retaining close to SotA performance on LibriSpeech and SpeechStew ASR tasks. On four GLUE tasks and text-normalization, we observe evidence of capacity limitations and interference between the two modalities, leading to degraded performance compared to an equivalent text-only model, while still being competitive with BERT. Through extensive empirical analysis we also demonstrate the importance of the choice of objective function for speech pre-training, and the beneficial effect of adding additional supervised signals on the quality of the learned representations.

연구 동기 및 목표

• 음성 및 텍스트 모달리티 전반에 걸친 보편적인 자기 감독 사전 학습을 고무한다.
• 단일 인코더가 두 모달리티에 대해 강력한 표현을 학습할 수 있는지 조사한다.
• 정렬 손실(TLM 및 STM)이 교차 모달 전이 및 다운스트림 작업에 미치는 영향을 평가한다.
• 두 개의 고자원 모달리티를 공동으로 모델링할 때의 간섭 및 용량 한계를 특성화한다.
• 다중 모달 사전 학습에 대한 설계 지침과 실증 인사이트를 제공한다.

제안 방법

• 음성 인코더, 텍스트 인코더, 공유 다중 모달 인코더를 갖춘 하나의 Conformer 기반 아키텍처를 제안한다.
• 네 가지 목표로 사전 학습한다: SpanBERT(텍스트 MLM), w2v-BERT(음성), 연결 데이터에서 Translation Language Modeling(TLM), 그리고 연결/비연결 데이터에서 Speech-Text Matching(STM).
• 다단계 사전 학습을 사용한다: 먼저 비쌍 데이터에서 자기지도 학습을 수행하고, 그 다음 비쌍 및 쌍 데이터 모두에서 정렬 손실을 추가한다.
• 교차 모달 특징 학습을 촉진하기 위해 쌍 데이터에 대해 공격적인 마스킹을 사용한다.
• 음성 번역(CoVoST 2), ASR(LibriSpeech, SpeechStew) 및 GLUE 작업을 포함한 다운스트림 작업에 대해 파인튜닝하고, 용량과 간섭을 분석한다.

실험 결과

연구 질문

• RQ1 단일 인코더가 공동으로 사전 학습될 때 음성 및 텍스트에 대해 효과적인 표현을 학습할 수 있는가?
• RQ2 정렬 손실(TLM 및 STM)이 자기지도 학습만으로 얻은 것보다 교차 모달 정렬 및 다운스트림 성능을 향상시키는가?
• RQ3 다중 모달 사전 학습이 음성 번역, ASR 및 텍스트 이해 작업에 가지는 이점과 한계(간섭, 용량)는 무엇인가?

주요 결과

• 공동 SLAM 사전 학습은 단일 모달 사전 학습에 비해 CoVoST 2 음성 번역에서 성능 향상을 보인다(~1 BLEU).
• SLAM은 Mono-Modal 모델과 비교하여 LibriSpeech ASR 및 SpeechStew ASR 작업에서 경쟁력 있는 성능을 달성한다.
• GLUE 작업 및 텍스트 정규화에서 교차 모달 간섭으로 인해 텍스트 전용 모델 대비 성능이 저하되며, 두 고자원 모달리티를 모델링할 때 용량 한계가 있음을 시사한다.
• 정렬 손실(TLM 및 STM)은 교차 모달 표현 정렬을 개선하고 간섭으로 인한 성능 격차의 상당 부분을 메울 수 있다.
• 공동 다중 모달 사전 학습 후 음성 데이터를 추가로 계속 사전 학습하면 음성 번역에 추가 이득이 생겨 교차 모달 전이의 이점을 입증한다.
• 텍스트 전용 성능은 초기 BERT급 기준과 경쟁적이며, 단일 모델의 용량 제약을 강조한다.