[논문 리뷰] Wav2Seq: Pre-training Speech-to-Text Encoder-Decoder Models Using Pseudo Languages

Felix F. Wu, Kwangyoun Kim외 5명|arXiv (Cornell University)|2022. 05. 02.

Speech Recognition and Synthesis인용 수 5

한 줄 요약

Wav2Seq는 원시 음성 데이터를 이산적인 의사 서브워드 토큰으로 변환하는 의사 ASR 작업을 정의하여 음성-텍스트 모델에서 인코더와 디코더를 동시에 사전 훈련하는 자기지도 학습 방법을 도입한다. 이 방법은 추가 텍스트 데이터 없이도 종단 간 음성 명명 엔터티 인식과 음성-텍스트 번역에서 최신 기술 수준의 성능을 달성하며, 저자원 ASR 환경에서 인코더-디코더 모델과 CTC 기반 모델 간의 성능 격차를 줄인다.

ABSTRACT

We introduce Wav2Seq, the first self-supervised approach to pre-train both parts of encoder-decoder models for speech data. We induce a pseudo language as a compact discrete representation, and formulate a self-supervised pseudo speech recognition task -- transcribing audio inputs into pseudo subword sequences. This process stands on its own, or can be applied as low-cost second-stage pre-training. We experiment with automatic speech recognition (ASR), spoken named entity recognition, and speech-to-text translation. We set new state-of-the-art results for end-to-end spoken named entity recognition, and show consistent improvements on 20 language pairs for speech-to-text translation, even when competing methods use additional text data for training. Finally, on ASR, our approach enables encoder-decoder methods to benefit from pre-training for all parts of the network, and shows comparable performance to highly optimized recent methods.

연구 동기 및 목표

• 일반적으로 인코더만 사전 훈련되고 디코더는 무작위로 초기화되거나 NLP 모델에서 빌려오는 등 자기지도 학습 사전 훈련에서의 불균형 문제를 해결하기 위해.
• 정렬된 텍스트가 필요 없이 원시 음성 데이터만을 사용하여 음성-텍스트 모델의 인코더와 디코더 컴포넌트를 종단 간으로 사전 훈련할 수 있도록 하기 위해.
• 특히 CTC 기반 모델에 비해 성능이 열등했던 순서-순서 모델의 성능을 향상시키기 위해 저자원 환경에서의 성능 향상을 도모하기 위해.
• 단순한 이산적 의사 언어 표현이 공동 사전 훈련을 위한 효과적인 자기지도 목표로 기능할 수 있음을 보여주기 위해.
• 기존의 사전 훈련된 인코더(예: HuBERT, XLS-R)를 향상시키는 데 저비용으로 적용 가능한 영리한 두 번째 단계 사전 훈련 방법을 제공하기 위해.

제안 방법

• 벡터 양자화와 클러스터링 알고리즘을 사용하여 원시 음성 표현을 이산적 서브워드 단위로 군집화하여 의사 언어를 유도한다.
• 모델이 원시 음성을 의사 서브워드 토큰의 시퀀스로 변환하도록 하는 자기지도 학습 의사 ASR 작업을 정의한다.
• 이 의사 ASR 목표를 사용하여 교차 엔트로피 손실을 의사 토큰에 대해 적용함으로써 전체 인코더-디코더 아키텍처를 종단 간으로 사전 훈련한다.
• 실제 언어 임베딩(예: 영어 서브워드 또는 문자)으로 입력 및 출력 임베딩 레이어를 교체함으로써 다운스트림 작업에 대해 미세 조정한다.
• HuBERT나 XLS-R와 같은 기존의 사전 훈련된 인코더 위에 이 방법을 두 번째 단계 사전 훈련 단계로 적용하여 추가 비용을 최소화하면서 성능을 향상시킨다.
• 길이 압축과 중복 제거 기법을 사용하여 의미적으로 유의미하고도 컴 pact한 의사 서브워드 시퀀스를 생성함으로써 의미적 관련성과 시퀀스 효율성의 균형을 이룬다.

Figure 1: Pseudo ASR task. The Wav2Seq model is pre-trained to transcribe an audio input into a sequence of pseudo language tokens. The embedding layers are replaced during fine-tuning on real ASR or speech translation tasks. “ $<$ sos $>$ ” is the start-of-sequence token and “ $<$ eos $>$ ” is the

실험 결과

연구 질문

• RQ1 음성-텍스트 모델에서 인코더와 디코더를 동시에 사전 훈련하는 것이 인코더만 사전 훈련하는 것보다 성능 향상에 기여하는가?
• RQ2 이산적 의사 서브워드를 타겟으로 하는 자기지도 학습 의사 ASR 작업이 텍스트 감독 없이도 효과적인 사전 훈련을 가능하게 하는가?
• RQ3 Wav2Seq는 저자원 환경에서 CTC 기반 모델과 외부 언어 모델을 갖춘 모델과 비교해 어떻게 성능을 내는가?
• RQ4 Wav2Seq는 HuBERT나 XLS-R와 같은 기존의 사전 훈련된 인코더 성능을 향상시키는 저비용의 두 번째 단계 사전 훈련 방법으로 활용될 수 있는가?
• RQ5 의사 서브워드 표현의 선택(예: 중복 제거, BPE)이 다운스트림 성능에 어느 정도의 영향을 미치는가?

주요 결과

• SLUE-VoxPopuli SNER 벤치마크에서 HuBERT-large로 초기화된 Wav2Seq는 평가된 모든 모델 중에서 종단 간 최고 성능을 기록했다.
• 음성-텍스트 번역에서 Wav2Seq는 20개의 언어 쌍에 대해 HuBERT나 XLS-R로 초기화된 모델을 모두 능가했으며, 추가 기계 번역 데이터로 훈련된 모델의 성능과도 동등했다.
• 저자원 ASR(라벨링된 데이터 10시간) 환경에서 Wav2Seq는 인코더-디코더 모델과 CTC 기반 모델 간의 성능 격차를 해소했으며, 특히 후자의 성능을 크게 향상시켰다.
• 두 번째 단계 사전 훈련으로 적용되었을 때, Wav2Seq는 HuBERT-large 기반 모델의 저자원 및 고자원 ST 작업에서 성능을 향상시켰으며, 2~3배 더 큰 인코더를 갖춘 모델를 뛰어넘는 성능을 기록했다.
• 의사 ASR 작업은 LibriSpeech dev-other에서 의사 서브워드를 사용해 WER 38.1%를 기록했으며, 길이 17.4%의 압축률을 달성했고, BPE나 문자 수준의 타겟보다 우수한 성능을 보였다.
• 제거 실험 결과, 중복 제거와 BPE 기반 서브워드 토크나이제이션은 성능 향상에 핵심적인 역할을 했으며, 원시 문자 대비 WER을 6.0%포인트 감소시켰다.

Figure 2: Mapping an audio input into pseudo subwords. Here we use the first 0.6 seconds of a real audio from LibriSpeech [ 41 ] training set as an example. We use models with 25 clusters and 1000 BPE tokens in this example. Pseudo subword is a compact representation (in terms of the sequence length