[논문 리뷰] Applying Wav2vec2.0 to Speech Recognition in Various Low-resource Languages

Yi Cheng, Wang Jian-zhong외 3명|arXiv (Cornell University)|2020. 12. 22.

Speech Recognition and Synthesis참고 문헌 24인용 수 57

한 줄 요약

이 논문은 사전 학습된 wav2vec2.0 모델을 여섯 가지 실제 구어 언어에 걸쳐 저자원 ASR에 적용하여 이전 연구 대비 상당한 이득을 보였으며, 거친 수준의 단위와 자기지도 사전 학습이 유리하다는 것을 보여준다.

ABSTRACT

There are several domains that own corresponding widely used feature extractors, such as ResNet, BERT, and GPT-x. These models are usually pre-trained on large amounts of unlabeled data by self-supervision and can be effectively applied to downstream tasks. In the speech domain, wav2vec2.0 starts to show its powerful representation ability and feasibility of ultra-low resource speech recognition on the Librispeech corpus, which belongs to the audiobook domain. However, wav2vec2.0 has not been examined on real spoken scenarios and languages other than English. To verify its universality over languages, we apply pre-trained models to solve low-resource speech recognition tasks in various spoken languages. We achieve more than 20% relative improvements in six languages compared with previous work. Among these languages, English achieves a gain of 52.4%. Moreover, using coarse-grained modeling units, such as subword or character, achieves better results than fine-grained modeling units, such as phone or letter.

연구 동기 및 목표

• Wav2vec2.0의 실제 저자원 ASR 다언어에서의 효과를 입증한다.
• 출력 모델링 단위(하위어/문자 대 문자/음소) 가 성능에 미치는 영향을 평가한다.
• 저자원 ASR를 위한 인코더 전용 대 인코더-디코더 아키텍처를 평가한다.
• 대상 언어 데이터와 비대상 언어 데이터에서 자기지도 사전 학습과 감독 사전 학습을 비교한다.

제안 방법

• 사전 학습된 wav2vec2.0-base와 wav2vec2.0-large를 인코더로 사용한다.
• 디코딩 시 LM을 사용 여부에 따라 CTC 또는 교차 엔트로피 손실로 미세 조정한다.
• 거친 수준의 단위(subword/character)와 세밀한 단위(letter/phoneme)를 실험한다.
• ASR 출력에 추가 투사층 또는 주의 기반 디코더를 선택적으로 추가한다.
• 목표 언어 데이터와 비목표 언어 데이터에 대해 자기지도 사전 학습과 감독 사전 학습을 비교한다.

실험 결과

연구 질문

• RQ1 영어로 사전 학습된 wav2vec2.0이 실제 구어 데이터를 사용한 여섯 개의 저자원 언어의 ASR를 효과적으로 해결할 수 있는가?
• RQ2 저자원 ASR에서 거친 수준의 단위(subword/character)가 세밀한 단위(letter/phoneme/phones)보다 성능이 우수한가?
• RQ3 저자원 ASR에 대한 인코더 전용 대 인코더-디코더 아키텍처의 영향은 무엇인가?
• RQ4 저자원 언어에 대해 자기지도 사전 학습이 감독 사전 학습과 비교해 어떤 차이가 있는가?

주요 결과

• wav2vec2.0 모델은 CALLHOME의 여섯 언어에서 기존 연구를 능가하며 wav2vec2.0-large가 가장 큰 이득을 보인다.
• 영어의 경우 wav2vec2.0으로 이전 방법 대비 상대적 개선이 52.4%에 이르며, 독일어도 큰 이득(42.9%)을 보인다.
• 거친 수준의 모델링 단위(subword/character)가 이 저자원 설정에서 일반적으로 세밀한 단위(letter/phones)보다 더 우수한 성능을 보인다.
• 저자원 데이터 상황에서 CTC/LM 디코딩을 갖춘 인코더 전용 설정이 인코더-디코더 변형보다 우수하며, 데이터가 부족할 때 디코더를 추가하면 성능이 저하될 수 있다.
• 대규모 다국어 데이터에 대한 자기지도 사전 학습은 대상-유사 데이터의 감독 사전 학습보다 뛰어난 경우가 있으며, 강건한 교차 언어 음향 표현을 시사한다.