[논문 리뷰] UniSpeech: Unified Speech Representation Learning with Labeled and Unlabeled Data

Chengyi Wang, Yu Wu외 6명|arXiv (Cornell University)|2021. 01. 19.

Speech Recognition and Synthesis참고 문헌 41인용 수 20

한 줄 요약

UniSpeech는 레이블이 있는 데이터와 레이블이 없는 데이터를 모두 사용하여 감독형 음소 CTC 학습과 음소 인식형 대비 자기학습 학습을 동시에 최적화하는 통합 사전 훈련 프레임워크를 제안한다. 마스크된 토큰 치환을 통해 양자화기(quantizer)가 음성 인식 특화 표현을 명시적으로 학습하도록 이끌어내어, 다국어 및 도메인 이동된 음성 인식에서 최신 기술 성능을 달성하였으며, 감독형 전이 학습 대비 최대 26.9%의 상대적 음소 오류율 감소와 자기학습 학습 대비 13.4%의 상대적 오류율 감소를 이룬다.

ABSTRACT

In this paper, we propose a unified pre-training approach called UniSpeech to learn speech representations with both unlabeled and labeled data, in which supervised phonetic CTC learning and phonetically-aware contrastive self-supervised learning are conducted in a multi-task learning manner. The resultant representations can capture information more correlated with phonetic structures and improve the generalization across languages and domains. We evaluate the effectiveness of UniSpeech for cross-lingual representation learning on public CommonVoice corpus. The results show that UniSpeech outperforms self-supervised pretraining and supervised transfer learning for speech recognition by a maximum of 13.4% and 17.8% relative phone error rate reductions respectively (averaged over all testing languages). The transferability of UniSpeech is also demonstrated on a domain-shift speech recognition task, i.e., a relative word error rate reduction of 6% against the previous approach.

연구 동기 및 목표

• 레이블이 있는 데이터와 없는 데이터를 활용하여 저자원 음성 인식 문제를 해결하기 위해.
• 음소 인식 표현을 학습하여 언어 간 및 도메인 간 일반화 능력을 향상시키기 위해.
• 코드북 붕괴 문제를 완화하고 이산 잠재 단위와 음소 단위 간의 정렬을 향상시키기 위해.
• 감독형 학습과 자기학습 학습을 다중 작업 프레임워크로 통합하여 더 나은 표현 학습을 위해.
• 사전 훈련된 모델의 저자원 및 도메인 외부 설정으로의 이식 가능성을 향상시키기 위해.

제안 방법

• UniSpeech는 컨볼루션형 특징 추출기, 트랜스포머 인코더, 학습 가능한 양자화기를 갖춘 모델 아키텍처를 사용하여 이산 잠재 표현을 생성한다.
• 레이블이 있는 데이터에 대해서는 문맥 표현을 음소 레이블과 정렬하기 위해 시퀀스 수준의 CTC 손실을 적용한다.
• 레이블이 없는 데이터에 대해선, 일부 문맥 표현을 양자화된 표현으로 치환하는 마스크된 치환 전략을 도입하여 양자화기를 음소 단위 쪽으로 명시적으로 이끌어낸다.
• 레이블이 없는 데이터에 대해서는 마스크된 표현과 이산 코드를 사용하여 대비 학습을 적용하여 표현 품질을 향상시킨다.
• 모델는 레이블이 있는 고자원 데이터와 레이블이 없는 저자원 데이터를 함께 사전 훈련한 후, 소량의 레이블이 있는 저자원 데이터로 미세 조정한다.
• 활성 코드워드 수와 정렬 엔트로피 최적화를 통해 양자화기가 다양하고 음소 의미가 있는 코드워드를 생성하도록 훈련한다.

실험 결과

연구 질문

• RQ1 감독형 CTC 학습과 대비 자기학습 학습을 조합하면 음성 표현 품질이 향상되는가?
• RQ2 양자화기를 음소 단위 쪽으로 명시적으로 이끌면 코드워드의 다양성이 증가하고 음소와의 정렬이 향상되는가?
• RQ3 순수 자기학습 또는 감독형 사전 훈련 대비 UniSpeech의 다국어 음성 인식 성능은 어떠한가?
• RQ4 UniSpeech는 도메인 이동된 음성 인식 작업에 효과적으로 일반화되는가?
• RQ5 최적의 성능을 내기 위한 하이퍼파라미터 설정(예: 치환 확률, 손실 가중치)은 무엇인가?

주요 결과

• UniSpeech는 다국어 음성 인식 작업에서 감독형 전이 학습 대비 최대 26.9%의 상대적 음소 오류율 감소를 달성한다.
• CommonVoice 벤치마크에서 자기학습 사전 훈련 대비 13.4%의 상대적 오류율 감소를 기록한다.
• XLSR 대비 25,743개의 활성 코드워드를 기록하여 더 다양하고 우수한 음소 군집화를 보인다.
• 0.83의 평균 정렬 엔트로피는 이산 단위가 XLSR(엔트로피 1.34)보다 음소와 더 정확히 정렬되어 있음을 시사한다.
• 문맥 표현의 50%를 양자화된 것으로 치환할 경우(r=0.5)가 최고의 성능을 내며, r=0일 경우 상대적으로 7.8% 성능 저하가 발생한다.
• 도메인 이동된 Librispeech에서 Tedlium3로의 전이 작업에서 단어 오류율이 6% 상대적으로 감소한다.