[논문 리뷰] Simple and Effective Zero-shot Cross-lingual Phoneme Recognition

Qiantong Xu, Alexei Baevski외 1명|arXiv (Cornell University)|2021. 09. 23.

Speech Recognition and Synthesis참고 문헌 35인용 수 10

한 줄 요약

이 논문은 다국어로 미리 훈련된 wav2vec 2.0 모델(XLSR-53)을 다양한 훈련 언어의 레이블 데이터에 대해 미세조정하고, 발음 특징을 활용하여 음소를 알려지지 않은 목표 언어로 매핑함으로써 단순하면서도 효과적인 제로샷 다국어 음소 인식 방법을 제안한다. 이 방법은 전체 모델 미세조정과 다국어 사전 훈련을 활용하여 이전 연구를 크게 능가하며, 최소한의 레이블 데이터로 42개의 CommonVoice, 19개의 BABEL, 6개의 MLS 언어에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recent progress in self-training, self-supervised pretraining and unsupervised learning enabled well performing speech recognition systems without any labeled data. However, in many cases there is labeled data available for related languages which is not utilized by these methods. This paper extends previous work on zero-shot cross-lingual transfer learning by fine-tuning a multilingually pretrained wav2vec 2.0 model to transcribe unseen languages. This is done by mapping phonemes of the training languages to the target language using articulatory features. Experiments show that this simple method significantly outperforms prior work which introduced task-specific architectures and used only part of a monolingually pretrained model.

연구 동기 및 목표

• 저자원 언어의 음성 인식에서 레이블 데이터 부족 문제를 해결하기 위해 언어 간 제로샷 전이 학습을 가능하게 한다.
• 단일 언어 또는 작업에 특화된 아키텍처 대신 다국어 자기지도 학습 사전 훈련을 활용하여 제로샷 다국어 음소 인식 성능을 향상시킨다.
• 언어별 모델 의존도를 줄이기 위해 한 개의 다국어 모델을 훈련시켜 알려지지 않은 언어를 모두 인식할 수 있도록 한다.
• 전체 모델 미세조정과 발음 특징을 활용한 효과적인 음소 매핑을 통해 제로샷 성능을 향상시킨다.

제안 방법

• 다양한 훈련 언어의 레이블 데이터에 대해 다국어로 사전 훈련된 XLSR-53 wav2vec 2.0 모델을 미세조정하여 음소 인식을 수행한다.
• 발음 특징(주요 클래스, 방식, 위치, 라리지널) 21개 속성을 사용하여 음소 간 해밍 거리를 계산하여 다국어 간 매핑을 수행한다.
• 디코딩을 위해 두 가지 어휘 유형을 구성한다: tr2tgt(훈련 음소를 가장 가까운 목표 음소로 매핑) 및 tgt2tr(목표 음소를 가장 가까운 훈련 음소로 매핑)이다.
• 미세조정된 모델을 언어 모델과 구성된 어휘를 사용하여 디코딩하여 알려지지 않은 언어의 최종 음소 시퀀스를 생성한다.
• 마스크된 잠재 표현에 대해 대비 목적 함수를 사용하고, 53개 언어에서 Gumbel-Softmax를 통한 양자화를 수행하여 모델을 훈련시킨다.
• 음소화 도구(Espeak, Phonetisaurus)를 사용하여 음성 전사 결과를 생성하고, 음소 토큰 오류율(PTER)을 사용하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 다국어로 사전 훈련된 wav2vec 2.0 모델이 단일 언어 사전 훈련된 모델의 미세조정만을 사용하는 경우보다 더 나은 제로샷 다국어 음소 인식 성능을 달성할 수 있는가?
• RQ2 특징 추출기만이 아닌 전체 모델을 미세조정하는 것이 제로샷 환경에서 성능 향상에 뚜렷한 기여를 하는가?
• RQ3 발음 특징 기반 음소 매핑이 추론 중에 OOV(학습되지 않은 음소)를 처리하는 데 얼마나 효과적인가?
• RQ4 다양한 언어 간 제로샷 다국어 음소 인식에서 다국어 사전 훈련이 단일 언어 사전 훈련보다 어떻게 우월한가?

주요 결과

• 제안된 방법은 단일 언어 사전 훈련된 wav2vec 2.0 모델의 특징 추출기만을 사용하는 이전 방법보다 우수하며, 레이블 데이터 총 149시간으로 CommonVoice에서 평균 PTER 22.2%를 달성한다.
• 다국어 사전 훈련(XLSR-53)은 단일 언어 사전 훈련(w2v LV-60K) 대비 CommonVoice에서 평균 PTER를 22.2%로 감소시켜 다국어 표현의 우수성을 입증한다.
• 단지 6개의 BABEL 언어(317시간)에 대해 XLSR-53 전체 모델을 미세조정한 결과, 이전 방법이 약 1,500시간의 데이터로 훈련된 것보다도 뛰어난 성능을 보이며 효율성 향상을 입증한다.
• tr2tgt 어휘 구성 전략이 tgt2tr(24.6%)보다 略로 뛰어난 성능(24.5% 평균 PTER)을 보이며, 둘 다 Espeak나 Phonetisaurus와 같은 음소화 도구(각각 31.7% 및 32.4%)를 능가한다.
• 단일 통합 모델을 사용하여 여러 알려지지 않은 언어를 효과적으로 인식함으로써 비지도 음성 인식 방법과 경쟁 가능한 성능을 달성한다.