[논문 리뷰] A Survey of Multilingual Models for Automatic Speech Recognition

Hemant Kumar Yadav, Sunayana Sitaram|arXiv (Cornell University)|2022. 02. 25.

Speech Recognition and Synthesis인용 수 15

한 줄 요약

이 종합 검토는 다국어 자동 음성 인식(ASR) 모델이 교차 언어 전이와 자기지도 학습(SSL)을 활용하여 자원이 적은 언어의 성능을 향상시키는 방식을 다룹니다. 다양한 비라벨 음성 데이터로 사전 훈련하고, 제한된 라벨 데이터로 미세 조정함으로써 이러한 모델들은 다국어 환경에서 특히 언어학적으로 유사하거나 다양한 언어 조합을 포함한 사전 훈련을 거친 경우에 뚜렷한 성능 향상을 이룹니다.

ABSTRACT

Although Automatic Speech Recognition (ASR) systems have achieved human-like performance for a few languages, the majority of the world's languages do not have usable systems due to the lack of large speech datasets to train these models. Cross-lingual transfer is an attractive solution to this problem, because low-resource languages can potentially benefit from higher-resource languages either through transfer learning, or being jointly trained in the same multilingual model. The problem of cross-lingual transfer has been well studied in ASR, however, recent advances in Self Supervised Learning are opening up avenues for unlabeled speech data to be used in multilingual ASR models, which can pave the way for improved performance on low-resource languages. In this paper, we survey the state of the art in multilingual ASR models that are built with cross-lingual transfer in mind. We present best practices for building multilingual models from research across diverse languages and techniques, discuss open questions and provide recommendations for future work.

연구 동기 및 목표

• 부족한 번역된 음성 데이터로 인해 자원이 적은 언어의 자동 음성 인식(ASR) 성능 격차를 해소하기 위해.
• 다국어 ASR 모델이 고자원 및 저자원 설정 모두에서 단일 언어 모델보다 우수한 성능을 내는지 조사하기 위해.
• 자기지도 학습(SSL)과 비라벨 데이터가 자원이 적은 언어의 ASR 성능 향상에 미치는 영향을 분석하기 위해.
• 이전 학습 데이터의 다양성과 전이 학습을 활용한 효과적인 다국어 ASR 모델 구축을 위한 최선의 실천 방안을 규명하기 위해.
• 특히 매우 자원이 적은 언어와 표현이 부족한 언어 가문을 위한 다국어 ASR의 미래 연구를 안내하고 열려 있는 과제를 부각하기 위해.

제안 방법

• 라벨된 데이터로만 훈련된 모델과 비라벨 데이터로 사전 훈련한 후 라벨된 데이터로 미세 조정하는 모델으로 다국어 ASR 모델을 분류하기 위해.
• 자원 수준이 다른 언어 간의 성능 평가를 통해 교차 언어 전이를 분석하며, 제로샷 및 피어샷 설정을 포함합니다.
• 사전 훈련 데이터의 다양성—다양한 언어 또는 언어학적으로 관련된 언어를 사용하는 것—이 최종 ASR 정확도에 미치는 영향을 평가하기 위해.
• 모델 아키텍처, 다국어 설정에서의 언어 수, 언어 유사성 등이 전이 성능에 미치는 영향을 분석하기 위해.
• 사전 훈련 데이터와 미세 조정 데이터 간의 도메인 불일치가 모델 일반화 능력에 미치는 영향을 평가하기 위해.
• 다양한 언어 가문과 데이터셋 크기를 기반으로 한 벤치마크 평가를 통해 모델의 강건성과 확장성 평가하기 위해.

실험 결과

연구 질문

• RQ1 다국어 ASR 모델은 고자원 및 저자원 언어 모두에서 단일 언어 모델보다 ASR 정확도에서 뛰어난 성능을 내는가?
• RQ2 대규모 비라벨 음성 데이터로 자기지도 학습을 사전 훈련 단계에서 수행하면 저자원 언어의 ASR 성능 향상에 기여하는가?
• RQ3 언어 다양성, 모델 용량, 언어 유사성 등의 요소가 다국어 ASR에서 교차 언어 전이 성공에 영향을 주는가?
• RQ4 저자원 언어에서 의미 있는 성능 향상을 달성하기 위해 미세 조정에 최소한으로 필요한 라벨 데이터의 양은 얼마인가?
• RQ5 단 몇 시간의 번역된 데이터만 있는 매우 자원이 적은 언어로 다국어 ASR를 확장할 때의 주요 과제와 열려 있는 문제는 무엇인가?

주요 결과

• 다양한 비라벨 음성 데이터로 자기지도 학습을 거친 다국어 ASR 모델은 사전 훈련 세트에 목표 언어가 포함되지 않은 경우에도 저자원 언어에서 성능 향상을 보입니다.
• 목표 언어와 관련된 언어를 포함한 다양한 언어 조합으로 사전 훈련하는 것이, 동일한 총 데이터 크기일지라도 영어와 같은 단일 언어로만 사전 훈련하는 것보다 더 높은 성능을 낼 수 있습니다.
• 모델이 충분히 크고 깊은 경우, 언어 수가 증가할수록 성능 향상이 이루어지며, 이는 다국어 처리 능력을 효과적으로 활용할 수 있음을 의미합니다.
• 미세 조정을 위해서는 최소한의 라벨 데이터가 필요하며, 몇 시간 이내의 매우 저자원 언어의 경우 사전 훈련에도 불구하고 여전히 도전 과제로 남아 있습니다.
• 언어가 유사할수록 교차 언어 전이가 더 효과적이며, 유사 언어 간에 공통 디코더를 사용할 경우, 거리가 먼 언어 가문 간에 사용하는 것보다 더 좋은 성능을 낼 수 있습니다.
• 자기지도 학습 사전 훈련은 도메인 간 일반화가 가능하여, 사전 훈련과 미세 조정 데이터가 서로 다른 도메인에 속하더라도 성능 향상을 이끌 수 있으나, 모델 용량이 충분하지 않으면 고자원 언어에서는 성능 저하가 약간 발생할 수 있습니다.