[논문 리뷰] Unsupervised Cross-lingual Representation Learning for Speech Recognition

Alexis Conneau, Alexei Baevski외 3명|arXiv (Cornell University)|2020. 06. 24.

Speech Recognition and Synthesis인용 수 13

한 줄 요약

이 논문은 53개의 언어에서 원시 음성 데이터를 사용해 양자화된 잠재 음성 단위에 대한 대비 학습 목표를 통해 사전 훈련된 다국어 음성 표현 모델인 XLSR을 소개한다. 여러 언어 간에 공통되는 이산 표현을 함께 학습함으로써 XLSR은 공통 음성 데이터셋에서 72%의 상대적 음소 오류율 감소와 BABEL에서 16%의 상대적 단어 오류율 감소를 달성하여 저자원 언어에서 더 큰 성과를 내는 등 최신 기술 수준의 성능을 달성한다.

ABSTRACT

This paper presents XLSR which learns cross-lingual speech representations by pretraining a single model from the raw waveform of speech in multiple languages. We build on wav2vec 2.0 which is trained by solving a contrastive task over masked latent speech representations and jointly learns a quantization of the latents shared across languages. The resulting model is fine-tuned on labeled data and experiments show that cross-lingual pretraining significantly outperforms monolingual pretraining. On the CommonVoice benchmark, XLSR shows a relative phoneme error rate reduction of 72% compared to the best known results. On BABEL, our approach improves word error rate by 16% relative compared to a comparable system. Our approach enables a single multilingual speech recognition model which is competitive to strong individual models. Analysis shows that the latent discrete speech representations are shared across languages with increased sharing for related languages. We hope to catalyze research in low-resource speech understanding by releasing XLSR-53, a large model pretrained in 53 languages.

연구 동기 및 목표

• 사전 훈련 중에 레이블이 없는 데이터가 필요 없이 여러 언어 간에 일반화되는 단일 다국어 음성 인식 모델을 개발하는 것.
• 원시 음성 데이터를 기반으로 한 비지도 다국어 사전 훈련이 단국어 사전 훈련보다 성능을 향상시키는지, 특히 저자원 언어에서 어떻게 영향을 미치는지 조사하는 것.
• 공통 이산 잠재 표현이 여러 언어 간에 어떻게 분포되어 있으며, 언어 간 유사성이 전이 성능에 어떤 영향을 미치는지 분석하는 것.
• 다양한 언어에 대해 단일 XLSR 모델을 미세 조정함으로써 개별적으로 미세 조정된 모델과 경쟁 가능한 성능을 달성할 수 있음을 보여주는 것.

제안 방법

• 마스크된 잠재 표현에 대한 wav2vec 2.0의 대비 학습 목표를 사용해 다국어 원시 음성 데이터를 기반으로 단일 모델을 사전 훈련하는 것.
• 공통 양자화 모듈(제품 양자화 사용, G=2 코드북, 각각 V=320개의 항목)을 통해 여러 언어 간에 공유되는 이산 음성 단위를 생성하는 것.
• 이산 코드북 선택의 엔드 투 엔드 미분 가능 훈련을 가능하게 하기 위해 구름-소프트맥스 리lâxe를 적용하는 것.
• 분류기의 입력으로 특징를 고정하거나 별도의 분류기로 처리하는 대신, 전체 트랜스포머 기반 모델을 최종 음성 인식 작업에 대해 미세 조정하는 것.
• 평가를 위해 공통 음성(10개 언어, 독서 형식 음성)과 BABEL(14개 언어, 대화형 전화 음성) 벤치마크를 모두 사용하는 것.
• 정규화된 토큰 빈도 분포에 기반한 제닝스-섀넌 발산을 통해 언어 유사성을 시각화하고, K-평균 군집화 및 주성분 분석을 수행하는 것.

실험 결과

연구 질문

• RQ1 레이블이 없는 원시 음성 데이터만을 사용해 다국어 사전 훈련을 수행할 경우, 단국어 사전 훈련 대비 음성 인식 성능 향상이 이루어지는가?
• RQ2 레이블이 없는 조건에서 언어 유사성이 다국어 전이 성능에 어떤 영향을 미치는가?
• RQ3 이산 잠재 음성 표현이 얼마나 많은 언어 간에 공유되는가? 그리고 관련 언어일수록 더 많은 토큰을 공유하는가?
• RQ4 다양한 언어에 대해 동시에 미세 조정된 단일 다국어 모델이 개별적으로 훈련된 모델과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 학습된 이산 표현이 언어 간 언어학적 관계를 어떻게 반영하는가?

주요 결과

• XLSR은 이전 최고 성능 대비 공통 음성 데이터셋에서 72%의 상대적 음소 오류율 감소를 달성하여 다국어 사전 훈련의 뚜렷한 성과를 입증한다.
• BABEL 벤치마크에서 XLSR은 유사한 시스템 대비 16%의 상대적 단어 오류율 감소를 기록하여 강력한 다국어 전이 성능을 보여준다.
• 이탈리아어와 같이 저자원 언어의 경우, 관련 언어(예: 스페인어)에서 50시간의 레이블이 없는 데이터를 사용해 사전 훈련하면 오류율이 최대 16.8%까지 감소하는 등 가장 큰 성과 향상을 기록한다.
• 언어학적으로 유사한 언어들—스페인어, 이탈리아어, 바스크어—간에 더 많은 이산 잠재 단위를 공유함으로써 언어 유사성이 표현 공유를 강화함을 시사한다.
• 중국 홍콩어(zh-HK)와 같은 언어는 다른 언어와의 토큰 공유가 최소한으로 이루어져 공통 표현 공간에서 고립되어 있음을 나타낸다.
• 다양한 언어에 대해 단일 XLSR 모델을 동시에 미세 조정함으로써 개별적으로 미세 조정된 모델과 경쟁 가능한 성능을 보이는 다국어 음성 인식 시스템을 구축할 수 있다.